JP2017163180A - ずれ判定プログラム、ずれ判定方法、及び、情報処理装置 - Google Patents

ずれ判定プログラム、ずれ判定方法、及び、情報処理装置 Download PDF

Info

Publication number
JP2017163180A
JP2017163180A JP2016043045A JP2016043045A JP2017163180A JP 2017163180 A JP2017163180 A JP 2017163180A JP 2016043045 A JP2016043045 A JP 2016043045A JP 2016043045 A JP2016043045 A JP 2016043045A JP 2017163180 A JP2017163180 A JP 2017163180A
Authority
JP
Japan
Prior art keywords
line
sight
sensor
sight position
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016043045A
Other languages
English (en)
Inventor
英樹 冨森
Hideki Tomimori
英樹 冨森
哲 中島
Satoru Nakajima
哲 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016043045A priority Critical patent/JP2017163180A/ja
Priority to US15/408,103 priority patent/US20170255817A1/en
Priority to CA2955000A priority patent/CA2955000A1/en
Priority to EP17151970.5A priority patent/EP3217257A1/en
Publication of JP2017163180A publication Critical patent/JP2017163180A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】本発明の課題は、撮像装置の設置ずれの判定の処理負荷を低減することを目的とする。【解決手段】上記課題は、視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出し、抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出し、検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を算出し、算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定する処理をコンピュータに行わせるずれ判定プログラムにより達成される。【選択図】図１０

Description

本発明は、ずれ判定プログラム、ずれ判定方法、及び、情報処理装置に関する。
近年、流通分野等への視線検出の活用において、顧客が見ている商品などを把握して顧客が興味ある商品情報を収集し、その情報をマーケティングに活用する等が考えられている。このような視線検出の活用では、ＰＣ（Personal Computer）等に表示された画像に対する視線位置を検出する場合に比べて、検出範囲が大きい。
視線を検出するセンサとしてカメラを用い、カメラの出力結果から顧客の視線を検出できるようになっている。このことから、複数のカメラで撮像した画像を合成する技術や、複数のカメラで検出した視線座標の合成等を利用して、視線の検出範囲を拡大することが考えられる。
特開２００５−２５１０８６号公報 特開２０１５−１１９３７２号公報
複数のカメラを用いた視線検出では、センサとしてのカメラが何らかの影響でずれた場合、視線方向の商品を特定できない、視線を計測できない等の問題がある。加速度センサ等をカメラに備えることでカメラのずれを検知できるが、加速度線センサ等を追加することなく、既存の複数のカメラを利用して視線の検出範囲を拡大した場合、カメラの設置ずれの判定処理が重くなると言った問題がある。
したがって、１つの側面では、本発明は、撮像装置の設置ずれの判定の処理負荷を低減することを目的とする。
一態様によれば、視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出し、抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出し、検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を算出し、算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定する処理をコンピュータに行わせるずれ判定プログラムが提供される。
また、上記課題を解決するための手段として、ずれ判定方法、及び、情報処理装置とすることもできる。
撮像装置の設置ずれの判定の処理負荷を低減できる。
特徴点に基づくずれ検出方法を説明するための図である。 対応マップのデータ例を示す図である。 ずれ検出の処理フローの概要を説明するための図である。 視線検出の原理を説明するための図である。 視線検出方法を説明するための図である。 視線方式のずれ判定処理を説明するための図である。 システム構成の例を示す図である。 システム構成の他の例を示す図である。 情報処理装置のハードウェア構成を示す図である。 第１実施例における情報処理装置の機能構成例を示す図である。 第１実施例におけるずれ判定処理を説明するためのフローチャート図である。 第２実施例における情報処理装置の機能構成例を示す図である。 距離に応じた共通エリアのサイズ変化を説明するための図である。 共通エリアサイズテーブルのデータ構成例を示す図である。 共通エリア内判定部による第１判定処理を説明するためのフローチャート図である。 眼球の動作特性を説明するための図である。 視線位置ずれ判定部による第２判定処理を説明するためのフローチャート図である。 センサの視線位置の検出誤差を説明するための図である。 誤差閾値テーブルのデータ構成例を示す図である。 視線位置ずれ判定部による第３判定処理を説明するためのフローチャート図である。 垂直方向の検出範囲を広げる複数のセンサの設置方法を示す図である。 水平方向の検出範囲を広げる複数のセンサの設置方法を示す図である。 垂直方向及び水平方向の検出範囲を広げる設置例を示す図である。 ３つ以上のセンサを１列に設置した場合のセンサの主従関係の例を説明するための図である。
以下、本発明の実施の形態を図面に基づいて説明する。本実施の形態では、カメラをセンサとして利用し、複数設置することで視線の検出範囲を拡大した場合において、設置した各カメラ（センサ）の位置のずれ検出の処理負荷を低減する手法について説明する。
本実施の形態の説明の前に、特徴点に基づくずれ検出について考察する。図１は、特徴点に基づくずれ検出方法を説明するための図である。特徴点に基づくずれ検出方法では、先ず、正位置にセンサＡ及びセンサＢを配置し、人物の顔１ａを撮像する。
図１（ａ）は、正位置にセンサＡ及びセンサＢが設定された場合の撮影画像の例を示している。センサＡの撮像画像Ａでは、顔１ａの顔画像９Ｇａは右よりに位置している。一方、センサＢの撮像画像Ｂでは、顔１ａの顔画像９Ｇｂは左よりに位置している。
次に、センサＢが正位置からずれた場合、図１（ｂ）に示すような撮像画像Ｂを得る。センサＡが正位置からずれていない場合、撮像画像Ａでは、図１（ａ）と同様に、右よりに顔１ａが写されている。一方、ずれたセンサＢの撮像画像Ｂでは、顔１ａが略中央に移されている。
図１（ｂ）の撮像画像Ｂでは、顔１ａが顔画像９Ｇｂの位置ではなく顔画像９Ｇｅの位置に写されている。図１（ａ）の撮像画像Ｂと、図１（ｂ）の撮像画像Ｂとにおいて顔１ａが写される位置が異なっている。この差分を画像処理により検出することにより、センサＢの設置ずれを検知する。
一方、図１（ａ）の撮像画像Ｂと、図１（ｂ）の撮像画像Ｂとにおいて、顔１ａの認識と、撮像画像Ｂ内の顔１ａの位置を検出し、顔１ａの位置の差分を画像処理で行うには、処理負荷が大きい。また、設置ずれのない図１（ａ）の撮像画像Ａと、図１（ｂ）の撮像画像Ａに対しても同様に顔１ａを認識して撮像画像Ａ内での位置の変化を判定するため、センサの数が多くなれば、顔１ａの認識し、顔１ａの位置判定を行う画像処理の負荷は膨大となる。
特徴点を用いたずれ検出では、特徴点として顔、目輪郭、瞳孔等を用いることになるが、これらの形状は個人差のみならず、人物の顔１ａとセンサとの距離に応じて大きさが変化する。精度良くずれ検出を行うために、角膜反射を特徴点とすることが考えられる。撮像画像内において、角膜反射の形状は小さく点として検出できる。以下、「角膜反射位置」という。
各センサの正位置の撮像画像における左右の眼の角膜反射位置を取得することで、顔１ａの認識精度を改善可能である。例えば、図２に示すような撮像画像における顔１ａの位置認識用にセンサ毎の角膜反射位置の対応マップを予め作成することで、顔１ａの認識処理の負荷を軽減できると考えられる。
図２は、対応マップのデータ例を示す図である。図２に例示する対応マップ９０ｍは、センサＡ及びセンサＢが、正位置で略同時に顔１ａを撮像した場合の人物の眼球での角膜反射位置の対応を示している。角膜反射位置は、左目及び右目の夫々においてｘｙ座標で示される。
撮像画像から検出した角膜反射位置が、この対応マップ９０ｍで示すｘｙ座標の存在しない場合、センサの位置がずれていると判定する。
しかしながら、特徴点は、人物の顔１ａの目とカメラとの距離（即ち、ｚ座標）によって対応関係が変化するため、対応マップ９０ｍは、距離毎に用意する必要がある。また、特徴点が検出される位置は、撮像画像内の全ての領域（ｘ座標、ｙ座標）に存在し得るため、全ての座標で対応関係を調べることになる。即ち、距離（ｚ座標）に応じて、対応関係を調べる処理を行わなければならない。特徴点を用いた演算量の削減は困難であると言える。
本実施の形態では、センサ（カメラ）毎に、黒目（瞳孔）の位置と、角膜反射位置との差分から視線位置を特定し、特定した視線位置間の長さに基づいてセンサの設置ずれを検出する。本実施の形態の手法により、センサの設置ずれの検出に係る処理負荷を削減することができる。
先ず、上述した特徴点を用いたずれ検出と、以下に説明する本実施の形態における視線によるずれ検出との違いについて図３に示す。特徴点を用いた場合を「特徴点方式」と言い、視線を用いた場合を「視線方式」と言う。
図３は、ずれ検出の処理フローの概要を説明するための図である。図３（ａ）では、特徴点方式によるセンサの設置ずれを検出する処理フローの概要を示している。図３（ｂ）では、本実施の形態における視線方式によるセンサの設置ずれを検出する処理フローの概要を示している。図３（ａ）及び図３（ｂ）において、顔検出処理２１、目輪郭検出処理２２、及び瞳孔・角膜反射検出処理２３は共通である。
図３（ａ）の特徴点によるずれ検出では、瞳孔・角膜反射検出処理２３によって得られた瞳孔位置及び角膜反射位置を含む特徴点を用いた特徴点方式のずれ判定処理２９が行われる。この特徴点方式のずれ判定処理２９は、上述したように処理負荷が重い処理である。
本実施の形態では、この特徴点方式のずれ判定処理２９の部分を、図３（ｂ）に示す、視線特定処理２４及び視線方式のずれ判定処理２５に置き換えて、処理負荷を低減する。
図３（ｂ）では、視線特定処理２４が、瞳孔・角膜反射検出処理２３によって得られた瞳孔位置及び角膜反射位置を用いて視線を特定し、視線方式のずれ判定処理２５が、視線特定処理２４が特定した視線に基づいて、センサが正位置からずれているか否かを判定する。
本実施の形態において、顔検出処理２１、目輪郭検出処理２２、瞳孔・角膜反射検出処理２３、及び視線特定処理２４は、視線検出処理部５０で行われる。視線方式のずれ判定処理２５は、ずれ判定処理部６０で行われる。
以下に、図３（ｂ）の視線検出処理部５０とずれ判定処理部６０とによる機能構成を第１実施例として説明する。先ず、視線検出処理部５０による視線検出処理について説明する。
図４は、視線検出の原理を説明するための図である。図４では、第１実施例において使用される、ＬＥＤ（Light Emitting Diode）ライト３ａと、カメラ３ｂとを有するセンサ３を用いた視線検出の原理を説明する。
センサ３は、ＬＥＤライト３ａから赤外線ＬＥＤ光３ｆを照射し、顧客等の顔１ａを撮像する。撮像した眼球１ｂから視線が検出される。照射された赤外線ＬＥＤ光３ｆは、眼球１ｂ内で角膜反射を起こす。この角膜反射の位置は、眼球１ｂの動きに係らず、一定の位置で発生するため、基準点１ｃとする。
一方、眼球１ｂは視線に応じて動き、従って、瞳孔１ｅ（黒目）も動く。眼球１ｂの動きに寄らず、一定位置を示す基準点１ｃと、瞳孔１ｅとの位置関係から眼球移動を検出することで、視線を算出できる。
図５は、視線検出方法を説明するための図である。視線検出方法では、先ず、センサ３のカメラ３ｂの撮像画像４ｇから顔１ａを検出して顔画像４ｆを抽出する（図５（ａ））。次に、顔画像４ｆから目の輪郭を検出し、目輪郭画像４Ｌ及び４Ｒを抽出する（図５（ｂ））。図５（ｂ）において、目輪郭画像４Ｒは、検出した右目の輪郭部分を含む画像に相当し、目輪郭画像４Ｌは、検出した左目の輪郭部分を含む画像に相当する。
そして、目輪郭画像４Ｒ及び４Ｌの各々から、瞳孔１ｅと、角膜反射位置を基準点１ｃとして検出する。図５（ｃ）では、目輪郭画像４Ｌから瞳孔１ｅ及び基準点１ｃを検出した例を示している。目輪郭画像４Ｒからも同様に、瞳孔１ｅ及び基準点１ｃを検出する。
瞳孔１ｅ及び基準点１ｃを用いて、視線計算が行われる。撮像画像４ｇにおける基準点１ｃの位置と瞳孔１ｅの位置との差分と、視線との関係について説明する。基準点１ｃの位置と瞳孔１ｅの位置との差分は、ｘ方向の画素差、及び、ｙ方向の画素差で表される。
図５（ｄ）では、眼球１ｂの画像と、上記画素差を示している。 画素差が正面範囲の眼球１ｂ０の場合には、顔１ａの視線は正面方向であると判定できる。画素差が左下範囲の眼球１ｂ１の場合には、顔１ａの視線は左下方向であると判定できる。画素差が左上範囲の眼球１ｂ２の場合には、顔１ａの視線は左上方向であると判定できる。
また、画素差が右上範囲の眼球１ｂ３の場合には、顔１ａの視線は右上方向であると判定できる。画素差が右下範囲の眼球１ｂ４の場合には、顔１ａの視線は右下方向であると判定できる。
撮像画像４ｇの座標系における画素差を実空間の座標系へと変換させる。図５（ｅ）では、図５（ｄ）に示す主な５つの視線方向の各々に対する視線位置の実空間の座標系への変換例を示す。
図５（ｄ）ではカメラ３ｂで検出した特徴点の差分の座標系であったのに対して、図５（ｅ）では顔１ａから見える実空間の座標系となる。つまり、左右は逆に示される。
具体的には、図５（ｄ）の中心の眼球１ｂ０の画素差分は、図５（ｅ）の中心の視線位置１ｒ０にマッピングされ、図５（ｄ）の視線が右下の眼球１ｂ１の画素差分は、図５（ｅ）の左下の視線位置１ｒ１にマッピングされ、図５（ｄ）の視線が右上の眼球１ｂ２の画素差分は、図５（ｅ）の左上の視線位置１ｒ２にマッピングされる。
また、図５（ｄ）の視線が左上の眼球１ｂ３の画素差分は、図５（ｅ）の右上の視線位置１ｒ３にマッピングされ、図５（ｄ）の視線が左下の眼球１ｂ４の画素差分は、図５（ｅ）の右下の視線位置１ｒ４にマッピングされる。
第１実施例では、２つのセンサ３の撮像画像４ｇが重なり合う領域では、各センサ３が特定した視線は一致することを利用する。即ち、重なり合う領域では、２つのセンサ３のいずれかの位置がずれたとき、夫々のセンサ３で特定した視線は一致しない。よって、センサ３の設置ずれを検出できる。
第１実施例におけるずれ判定処理部６０による視線方式のずれ判定処理２５を説明する。図６は、視線方式のずれ判定処理を説明するための図である。センサ３Ａ及び３Ｂは、図４に示すセンサ３である。
図６（ａ）では、センサ３Ａとセンサ３Ｂとは、センサ３Ａの有効エリア３Ａｑとセンサ３Ｂの有効エリア３Ｂｑとが重なる共通エリア３ＡＢを有するように正位置に設置される。設置ずれのない場合に相当する。
有効エリア３Ａｑは、センサ３Ａが正位置に設置された場合に、センサ３Ａの撮像画像４ｇから顔１ａの視線方向１ａｄの先の視線位置を特定可能な、実空間のｘｙ平面の領域である。有効エリア３Ｂｑは、センサ３Ｂが正位置に設置された場合に、センサ３Ｂの撮像画像４ｇから顔１ａの視線方向１ａｄの先の視線位置を特定可能な、実空間のｘｙ平面の領域である。共通エリア３ＡＢは、センサＡとセンサＢ共に視線方向１ａｄの先の視線位置を特定可能な、有効エリア３Ａｑと有効エリア３Ｂｑとが重なる領域である。
撮像エリア３Ａｇは、センサ３Ａの焦点距離でセンサ３Ａが撮像する領域を示し、撮像エリア３Ｂｇは、センサ３Ｂの焦点距離でセンサ３Ｂが撮像する領域を示している。
視線位置３Ａｕは、センサ３Ａの撮像画像４Ａｇから得た、顔１ａの視線方向１ａｄの視線位置を示し、センサ３Ａの撮像画像４Ａｇに対してなされた視線特定処理２４の出力結果に相当する。
視線位置３Ｂｕは、センサ３Ｂの撮像画像４Ｂｇから得た、顔１ａの視線方向１ａｄの視線位置を示し、センサ３Ｂの撮像画像４Ｂｇに対してなされた視線特定処理２４の出力結果に相当する。
設置ずれのない場合は、視線位置３Ａｕと視線位置３Ｂｕとの間の距離が予め定められた誤差範囲３ＥＲ内に収まる。即ち、視線位置３Ａｕと視線位置３Ｂｕ間の距離が誤差範囲３ＥＲ内であれば、センサＡ及びセンサＢともにその設置位置にずれはないと判定する。
図６（ｂ）では、正位置に設置されセンサ３Ａとセンサ３Ｂのうち、センサＢがずれている場合を示している。顔１ａは、図６（ａ）に示す同じ視線方向１ａｄである。
センサ３Ａはずれていないため、図６（ａ）と同様の視線位置３Ａｕが視線特定処理２４によって出力される。一方、センサ３Ｂは設置位置がずれたことで、センサＢの撮像エリア３Ｂｇが傾き、図６（ａ）の撮像画像４Ｂｇとは異なる撮像画像４Ｂｇ’を得る。センサ３Ｂの撮像画像４Ｂｇ’に対してなされた視線特定処理２４の出力結果は、視線位置３Ｂｕ’となる。
視線位置３Ａｕと視線位置３Ｂｕ’の距離は、誤差範囲３ＥＲを超えているため、センサ３Ａ及びセンサ３Ｂの少なくとも１つがずれていると判定する。
このように、センサ３Ａ又はセンサ３Ｂのいずれか一方、又は、両方がずれている場合、視線方向１ａｄを検出できない、又は、検出できたとしても、視線計算の光学パラメータが実体と異なっているため、センサＡの視線位置３ＡｕとセンサＢの視線位置３Ｂｕは誤差範囲３ＥＲ内に収まらない。従って、少なくとも１以上のセンサ３の設置ずれを検出することができる。
視線方式のずれ判定処理では、人物の顔１ａのセンサ３からの距離が変化しても、顔１ａが同じところを見ていれば、視線位置を示す出力結果は変化しない。従って、特徴点方式のずれ判定処理２９に比べて、演算量を少なくとも１次元（距離の次元を）減らすことができる。また、視線位置間の距離で、センサ３の設置ずれを判定するため、対応マップが不要となり、演算量を削減できる。
次に、複数のセンサ３を配置したシステム構成について説明する。図７は、システム構成の例を示す図である。図７に示すシステム１００１では、２以上のセンサ３と、１つの情報処理装置７とを１つのグループとし、複数のグループを構成する。
各グループＧ１、Ｇ２、・・・内において、隣接するセンサ３の撮像画像４ｇを用いて、設置ずれを判定する。グループＧ１では、情報処理装置７が各センサ３から撮像画像４ｇを入力し、隣接するセンサ３の撮像画像４ｇを用いて、２つのセンサ３に関して設置ずれがあるか否かを判定する。他グループＧｉ（ｉは２以上）においても同様である。この観点において、各グループＧ１、Ｇ２、・・・の情報処理装置７は、ずれ検出装置と言える。
以下グループＧ１を例として説明するが、他グループＧｉについても同様である。情報処理装置７は、ＰＣ（Personal Computer）等である。センサ３は、赤外線ＬＥＤ光３ｆを照射するＬＥＤライト３ａと、カメラ３ｂとを有し、情報処理装置７とＵＳＢ（Universal Serial Bus）ケーブル６ａ等により接続される。ＬＥＤライト３ａと、カメラ３ｂとは、同一筐体内に実装されている必要はなく、個別に設置されていてもよい。ＬＥＤライト３ａと、カメラ３ｂとのペアを１つのセンサ３と定義する。
各センサ３は、ＵＳＢケーブル６ａを介して撮像画像４ｇを情報処理装置７へ送信する。情報処理装置７は、ＵＳＢケーブル６ａを介して受信した撮像画像４ｇを用いて隣接するセンサ３のペア毎に設置ずれを判定し、ずれ判定結果９ｒを取得する。
情報処理装置７は、ＬＡＮ（Local Area Network）６ｂ等を介して、他の情報処理装置７と通信可能とすることが望ましい。ＬＡＮ６ｂを介して、各情報処理装置７にて得られたセンサ３に関するずれ判定結果９ｒを、ＬＡＮ６ｂを介して、予め管理サーバとして定めた複数の情報処理装置７の１つに送信する。管理サーバに集約することで、設置したセンサ３全体の設置ずれ状態を把握し易くなる。
図８は、システム構成の他の例を示す図である。図８に示すシステム１００２は、情報処理装置７と、ＬＥＤライト３ａと、及びカメラ３ｂとを有するセンサ３−１と、センサ３とを有する。センサ３−１と、センサ３とは、隣接して配置されているものとする。
センサ３−１と、センサ３とは、無線ＬＡＮ６ｃ等を介して接続される。センサ３が、センサ３−１へと撮像画像４ｇを送信することで、センサ３−１が設置ずれを判定する。
センサ３−１は、ＬＥＤライト３ａと、カメラ３ｂと、情報処理装置７とを有し、情報処理装置７とバス６ｄ等により接続される。ＬＥＤライト３ａと、カメラ３ｂとは、同一筐体内に実装されている必要はなく、個別に設置し、ＵＳＢ（Universal Serial Bus）ケーブル６ａ等により情報処理装置７に接続されてもよい。
センサ３は、ＬＥＤライト３ａと、カメラ３ｂとを有し、図４及び図７に示すセンサ３の構成と同様に、赤外線ＬＥＤ光３ｆを照射するＬＥＤライト３ａと、カメラ３ｂとを有する。センサ３は、撮像画像４ｇを無線ＬＡＮ６ｃ等を介してセンサ３−１へと送信する。
センサ３−１は、センサ３から受信した撮像画像４ｇと、センサ３−１で入力した撮像画像４ｇとから設置ずれを判定し、ずれ判定結果９ｒを出力する。ずれ判定結果９ｒは、ユーザに通知される。定められた送信先へずれ判定結果９ｒを示すメッセージが送信されればよい。
図９は、情報処理装置のハードウェア構成を示す図である。図９に示す情報処理装置７は、コンピュータによって制御される端末であって、ＣＰＵ（Central Processing Unit）１１ｂと、主記憶装置１２ｂと、通信Ｉ／Ｆ１７ｂと、ドライブ装置１８ｂとを有し、バスＢ２に接続される。
ＣＰＵ１１ｂは、主記憶装置１２ｂに格納されたプログラムに従って情報処理装置７を制御するプロセッサに相当する。組み込みプロセッサ、ＳｏＣ（System on Chip）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、専用ＡＳＩＣ（Application Specific Integrated Circuit）等であってもよい。
主記憶装置１２ｂには、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１ｂにて実行されるプログラム、ＣＰＵ１１ｂでの処理に必要なデータ、ＣＰＵ１１ｂでの処理にて得られたデータ等を記憶又は一時保存する。主記憶装置１２ｂに格納されているプログラムが、ＣＰＵ１１ｂに実行されることによって、各種処理が実現される。
通信Ｉ／Ｆ１７ｂによる通信は無線又は有線に限定されるものではない。本実施例では、通信Ｉ／Ｆ１７ｂは、センサ３との種々の接続形態（ＬＡＮ、ＵＳＢ、無線ＬＡＮ、Bluetooth（登録商標）等の近距離無線通信等）に対応しているものとする。
情報処理装置７によって行われる処理を実現するプログラムは、ネットワーク２を介して外部装置からダウンロードされる。或いは、予め情報処理装置７の主記憶装置１２ｂ又は記憶媒体１９ｂに記憶されていても良い。主記憶装置１２ｂ及び／又は記憶媒体１９ｂが記憶部１３０ｂに相当する。
ドライブ装置１８ｂは、ドライブ装置１８ｂにセットされた記憶媒体１９ｂ（例えば、ＳＤ（Secure Digital）メモリカード等）と情報処理装置７とのインターフェースを行う。尚、記憶媒体１９ｂは、コンピュータが読み取り可能な、構造（structure）を有する１つ以上の非一時的（non-transitory）な、有形（tangible）な媒体であればよい。
図１０は、第１実施例における情報処理装置の機能構成例を示す図である。図１０では、センサ３Ａと、センサ３Ｂとが、情報処理装置７に接続される場合で説明する。情報処理装置７は、主に、視線検出処理部５０Ａ及び５０Ｂと、ずれ判定処理部６０と、通知処理部９０とを有する。
視線検出処理部５０Ａ及び５０Ｂの各々は、図３の視線検出処理部５０に相当する。視線検出処理部５０Ａは、センサ３Ａから受信した撮像画像４Ａｇに基づいて視線方向１ａｄ（図６）を特定し、顔１ａ（図６）が注視している実空間のｘｙ平面における位置を算出して、視線位置３Ａｕを記憶部１３０ｂに出力する。
視線検出処理部５０Ｂも、同様に、センサ３Ｂから受信した撮像画像４Ｂｇから視線方向１ａｄを特定することで、実空間における顔１ａが注視している位置を算出し、視線位置３Ｂｕを記憶部１３０ｂに出力する。
すれ判定処理部６０は、記憶部１３０ｂから視線位置３Ａｕと視線位置３Ｂｕとを取得して、視線位置３Ａｕと視線位置３Ｂｕとに基づいて、センサ３Ａ及び３Ｂに関して設置ずれの有無を判定するずれ判定処理２５を行う処理部であり、共通エリア内判定部７０と、視線位置ずれ判定部８０とを有する。
共通エリア内判定部７０は、視線位置３Ａｕと視線位置３Ｂｕとが共に、予め定めた共通エリア３ＡＢ内であるか否かを判定する。視線位置３Ａｕと視線位置３Ｂｕの少なくとも１つが共通エリア３ＡＢ外である場合、ずれ判定処理２５は終了する。次の撮像画像４Ａｇの視線位置３Ａｕ及び次の撮像画像４Ｂｇの視線位置３Ｂｕに対してずれ判定処理２５が行われる。
視線位置ずれ判定部８０は、共通エリア３ＡＢ内の視線位置３Ａｕと視線位置３Ｂｕの距離が、誤差範囲３ＥＲ（図６）を超える場合に、センサ３Ａ及びセンサ３Ｂの１つ以上で位置がずれていると判定し、ずれ判定結果９ｒを記憶部１３０ｂに出力する。誤差範囲３ＥＲ以下である場合、処理中の視線位置３Ａｕと視線位置３Ｂｕに対するずれ判定処理２５は終了し、次の撮像画像４Ａｇの視線位置３Ａｕ及び次の撮像画像４Ｂｇの視線位置３Ｂｕに対してずれ判定処理２５が行われる。
通知処理部９０は、予め定めた送信先にずれ判定結果９ｒを示すメッセージを送信する。電子メール、データファイル等により、判定結果９ｒを示すメッセージが送信されればよい。
図１１は、第１実施例におけるずれ判定処理を説明するためのフローチャート図である。図１１において、ずれ判定処理部６０の共通エリア内判定部７０は、記憶部１３０ｂから、センサ３Ａの撮像画像４Ａｇから得られた視線位置３Ａｕを入力し（ステップＳ１０１ａ）、センサ３Ｂの撮像画像４Ｂｇから得られた視線位置３Ｂｕを入力する（ステップＳ１０１ｂ）。視線位置３Ａｕと視線位置３Ｂｕの入力順は問わない。
共通エリア内判定部７０は、視線位置３Ａｕと視線位置３Ｂｕとが共通エリア３ＡＢ（図６）内か否かを判定する（ステップＳ１０２）。視線位置３Ａｕと視線位置３Ｂｕとの少なくとも１つが共通エリア３ＡＢ（図６）外の場合（ステップＳ１０２のＮｏ）、ずれ判定処理２５は、ステップＳ１０１ａ及びステップＳ１０１ｂへと戻り、共通エリア内判定部７０によって、次の視線位置３Ａｕ及び次の視線位置３Ｂｕを入力し、上記同様の処理を行う。
一方、視線位置３Ａｕと視線位置３Ｂｕとが共通エリア３ＡＢ内の場合（ステップＳ１０２のＹｅｓ）、視線位置ずれ判定部８０によって、視線位置３Ａｕと視線位置３Ｂｕの距離が誤差範囲を超えるか否かを判定する（ステップＳ１０３）。
視線位置３Ａｕと視線位置３Ｂｕの距離が誤差範囲以下の場合（ステップＳ１０３のＮｏ）、ずれ判定処理２５は、ステップＳ１０１ａ及びステップＳ１０１ｂへと戻り、共通エリア内判定部７０によって、次の視線位置３Ａｕ及び次の視線位置３Ｂｕを入力し、上記同様の処理を行う。
視線位置３Ａｕと視線位置３Ｂｕの距離が誤差範囲を超える場合（ステップＳ１０３のＹｅｓ）、共通エリア内判定部７０は、ずれ判定結果９ｒを記憶部１３０ｂに出力する（ステップＳ１０４）。そして、ずれ判定処理２５が終了する。その後、通知処理部９０によって、ずれ判定結果９ｒを示すメッセージが予め定めた送信先へ送信される。
ずれ判定結果９ｒは、センサ３Ａとセンサ３Ｂを夫々特定するセンサ識別情報、時刻等の情報を含むことが望ましい。センサ識別情報及び時刻は、センサ３Ａ及び３Ｂにて撮像画像４Ａｇに付加するようにし、各視線検出処理部５０Ａ及び５０Ｂが、視線位置３Ａｕ及び３Ｂｕにセンサ識別情報及び時刻を付加して、記憶部１３０ｂに出力すればよい。
ずれ判定処理部６０の機能構成例を第２実施例として以下に詳述する。図１２は、第２実施例における情報処理装置の機能構成例を示す図である。図１２では、主に、ずれ判定処理部６０の機能構成について詳述する。
視線検出処理部５０Ａ及び５０Ｂは、撮像画像４Ａｇ及び４Ｂｇから視線位置３Ａｕ及び３Ｂｕを得る毎に、撮像画像４Ａｇ及び４Ｂｇに付加された時刻を取得する。取得した時刻と、視線位置３Ａｕ及び３Ｂｕとを示す視線位置データ５３が、記憶部１３０ｂ内の視線位置ＤＢ５５に時系列に記憶される。
一方、視線検出処理部５０Ａ及び５０Ｂが撮像画像４Ａｇ及び４Ｂｇから抽出した複数の画像特徴点の情報を示す画像特徴点データ５７が記憶部１３０ｂに出力される。画像特徴点データ５７には、顔１ａの輪郭、目輪郭、瞳孔１ｅ、角膜反射位置に相当する基準点１ｃ等に関する特徴点の情報が含まれる。
ずれ判定処理部６０の共通エリア内判定部７０は、距離計測部７２と、共通エリア設定部７４とを有する。共通エリア内判定部７０は、視線検出処理部５０Ａ及び視線検出処理部５０Ｂからの検出通知に応じて、記憶部１３０ｂから視線位置３Ａｕ及び３Ｂｕを入力する。第１判定処理Ｐ１は、距離計測部７２と、共通エリア設定部７４とに相当する。
距離計測部７２は、記憶部１３０ｂから画像特徴点データ５７を取得して、画像特徴点データ５７を用いて、センサ３Ａ及びセンサ３Ｂと人物の顔１ａまでの距離５９を算出する。距離５９は記憶部１３０ｂに記憶される。
共通エリア設定部７４は、予め設定された共通エリアテーブル７６を参照して、距離計測部７２が計測したセンサと顔１ａまでの距離５９に対応する、センサ３Ａ及び３Ｂの共通エリア３ＡＢのサイズを取得して、取得した共通エリア３ＡＢのサイズに基づいて、センサ３Ａ及び３Ｂの正位置に基づいて、図６（ａ）に示すような実空間に共通エリア３ＡＢを設定する。
共通エリア設定部７４は、視線位置３Ａｕと視線位置３Ｂｕとが設定した共通エリア３ＡＢ内にあるか否かを判定する。視線位置３Ａｕと視線位置３Ｂｕの１つ以上が共通エリア３ＡＢ内にある場合、視線位置ずれ判定部８０による処理が有効となる。
ずれ判定処理部６０の視線位置ずれ判定部８０は、共通エリア内判定部７０によって、視線位置３Ａｕと視線位置３Ｂｕとが共通エリア３ＡＢ内にある場合に有効となり、ばらつき判定部８２と、視線位置選択部８４と、視線位置誤差想定部８６と、ずれ有無判定部８８とを有する。第２判定処理Ｐ２は、ばらつき判定部８２と、視線位置選択部８４とに相当する。第３判定処理Ｐ３は、視線位置誤差想定部８６と、ずれ有無判定部８８とに相当する。
眼球１ｂの動作特性として、視線位置が一気にジャンプするサッカード状態と、視線位置が留まっている停留状態とがある。第２判定処理Ｐ２では、眼球１ｂの動きが停留状態の視線位置３Ａｕ及び３Ｂｕを選択する。
ばらつき判定部８２は、時間区間を設定し、設定した時間区間に相当する複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕを視線位置ＤＢ５５から取得して視線位置の分散量を計算する。
視線位置選択部８４は、ばらつき判定部８２によって計算された分散量が分散量閾値以上である場合、視線位置が停留していないと判断し、時間区間の複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕを採用しない。この場合、次の直近の時間区間で、ばらつき判定部８２による処理が繰り返し行われる。計算された分散量が分散量閾値未満である場合、視線位置選択部８４は、視線位置が停留していると判断し、この時間区間の複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕを採用する。
第２判定処理Ｐ２によって視線位置が停留していると判断された場合に、第３判定処理Ｐ３にて、選択された視線位置３Ａｕ及び３Ｂｕを用いて、センサ３Ａ及びセンサ３Ｂに係る設置ずれが判定される。センサ３Ａ及び３Ｂの夫々の出力は、誤差を含んでおり、かつ、顔１ａまでの距離、角膜形状の個人差等により精度が悪化する場合がある。顔１ａまでの距離が離れる程、誤差は大きくなる（精度が悪化する）。また、角膜形状が標準値から離れると、誤差は大きくなる（精度が悪化する）。角膜形状の標準値は、平均７．７ｍｍと言われている。
視線位置誤差想定部８６は、記憶部１３０ｂから距離計測部７２によって算出された距離５９を取得して、誤差閾値テーブル８９を参照することで、距離５９に対応する誤差閾値を取得することで、停留状態の視線位置の誤差を想定する。
誤差閾値テーブル８９では、距離５９の所定間隔で、誤差閾値を縦及び横の長さ（ｃｍ）で示したテーブルである。男女夫々の身長の平均値、角膜形状の平均値等に基づいて、男女各々に対して誤差閾値を対応付けても良い。１以上の各個人に対して、身長、角膜形状等を測定し、誤差閾値を対応付けても良い。
ずれ有無判定部８８は、視線位置誤差想定部８６によって得られた誤差閾値を用いて、視線位置選択部８４が選択した複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕが誤差閾値以上で分散している場合、センサ３Ａ及び３Ｂに関して設置ずれが発生したと判定する。ずれ判定結果９ｒが記憶部１３０ｂに出力される。
ずれ判定結果９ｒには、時刻と、センサ３Ａ及び３Ｂのセンサ識別情報とが示される。時刻として、複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕを採用した時間区間が示されてもよいし、時間区間の開始時刻又は終了時刻のいずれかであってもよい。視線位置ずれ判定部８０からずれ判定結果９ｒが出力されると、通知処理部９０によって、予め定められた送信先へとずれ判定結果９ｒが送信される。ずれ判定結果９ｒは、センサの設置ずれを検知したアラームとして通知される。
距離５９による共通エリア３ＡＢのサイズの違いについて説明する。図１３は、距離に応じた共通エリアのサイズ変化を説明するための図である。
図１３（ａ）では、距離が短い例として焦点距離ＦＬより短い距離５９−１の場合の共通エリア３ＡＢ−１を示している。図１３（ｂ）では、距離が長い例として焦点距離ＦＬと略同じ距離５９−２の場合の共通エリア３ＡＢ−２を示している。
図１３（ａ）の距離５９−１によって定まるセンサ３Ａの有効エリア３Ａｑ−１は、図１３（ｂ）の距離５９−２によって定まるセンサ３Ａの有効エリア３Ａｑ−２より小さくなる。また、図１３（ａ）の距離５９−１によって定まるセンサ３Ｂの有効エリア３Ｂｑ−１は、図１３（ｂ）の距離５９−２によって定まるセンサ３Ｂの有効エリア３Ｂｑ−２より小さくなる。
従って、図１３（ａ）の距離５９−１の場合の、センサ３Ａの有効エリア３Ａｑ−１とセンサ３Ｂの有効エリア３Ｂｑ−１とが重なる共通エリア３ＡＢ−１のサイズは、図１３（ｂ）の距離５９−２の場合の、センサ３Ａの有効エリア３Ａｑ−２とセンサ３Ｂの有効エリア３Ｂｑ−２とが重なる共通エリア３ＡＢ−２のサイズより小さくなる。このように、距離５９に応じて、共通エリア３ＡＢのサイズは変化する。
図１４は、共通エリアサイズテーブルのデータ構成例を示す図である。図１４において、共通エリアサイズテーブル７６は、センサ３毎に、人物との距離に応じた共通エリア３ＡＢのサイズを示すテーブルであって、距離、センサ３毎に縦及び横等の項目を有する。
距離は、各センサ３から顔１ａまでの距離を所定間隔で示している。この例では、単位をｃｍとし、「５０」ｃｍまでの距離から「１０」ｃｍ単位で、「１００」ｃｍまでの距離を示している。センサ３からの最短距離及び距離間隔の値は、この例に限定されない。
センサ３のセンサ識別情報毎に、共通エリア３ＡＢがｃｍ単位で縦及び横の長さで示される。この例では、隣接するセンサＡとセンサＢの例を示している。距離「５０」ｃｍまでの場合、センサＡの有効エリア３Ａｑにおいて共通エリア３ＡＢは、縦「３０」ｃｍ及び横「５０」ｃｍであり、センサＢの有効エリア３Ｂｑにおいて共通エリア３ＡＢは、縦「３０」ｃｍ及び横「４０」ｃｍである。所定の距離間隔毎に、共通エリア３ＡＢが示される。
視線位置データ５３の視線位置３Ａｕ及び視線位置３Ｂｕがベクトルで与えられる場合、センサ３毎の共通エリア３ＡＢを計算により求めることができる。この場合には、共通エリアサイズテーブル７６を省略してもよい。
第２実施例では、隣接するセンサＡとセンサＢについて、縦の値のうち小さい値、及び、横の値のうち小さい値をとって、センサＡとセンサＢとの共通エリア３ＡＢとする。具体的には、距離「５０」ｃｍの場合、縦「３０」ｃｍ及び横「４０」ｃｍが共通エリア３ＡＢに設定される。他の距離についても同様である。
共通エリア内判定部７０による第１判定処理Ｐ１について説明する。図１５は、共通エリア内判定部による第１判定処理を説明するためのフローチャート図である。
図１５において、共通エリア内判定部７０の距離計測部７２は、画像特徴点データ５７を入力し（ステップＳ２１１）、センサ３Ａ又は３Ｂと顔１ａ間の距離５９を計算する（ステップＳ２１２）。センサ３Ａ及び３Ｂは隣接するセンサ３であるとする。センサ３Ａ又は３Ｂのいずれか１つと顔１ａ間の距離５９を計算しても良いし、センサ３Ａ及び３Ｂの各々と顔１ａ間の距離の平均値を算出して距離５９としてもよい。センサ３Ａ及び／又は３Ｂを、以下、単に、センサ３と言う場合がある。
距離計測部７２は、画像特徴点５７から、右目と左目の瞳孔又は角膜反射点の特徴点を取得する。一般的には、瞳孔又は角膜反射点間の距離の平均は６４ｍｍである。この平均値を採用し、センサ３の画角と解像度とから距離５９を計算する。
次に、共通エリア設定部７４は、共通エリアサイズテーブル７６を参照して、距離計測部７２によって計算された距離５９に基づいて、センサ３Ａに設定された共通エリア３ＡＢの縦及び横の値と、センサ３Ｂに設定された共通エリア３ＡＢの縦及び横の値とを取得する（ステップＳ２１３）。
そして、共通エリア設定部７４は、小さい方の縦の値と横の値とによりセンサ３Ａと３Ｂとの間の共通エリア３ＡＢを設定し（ステップＳ２１４）、２つの視線位置３Ａｕ及び３Ｂｕが共通エリア３ＡＢ内か否かを判定する（ステップＳ２１５）。２つの視線位置３Ａｕ及び３Ｂｕは、画像特徴点データ５７から取得できる。
共通エリア設定部７４が、２つの視線位置３Ａｕ及び３Ｂｕが共通エリア３ＡＢ外であると判定した場合（ステップＳ２１５のＮｏ）、共通エリア内判定部７０は、ステップＳ２１１へと戻り、次の撮像画像４Ａｇ及び撮像画像４Ｂｇ（次のフレーム）に対して、距離計測部７２による処理から繰り返す。
一方、共通エリア設定部７４が、２つの視線位置３Ａｕ及び３Ｂｕが共通エリア３ＡＢ内であると判定した場合（ステップＳ２１５のＹｅｓ）、共通エリア内判定部７０は、視線位置ずれ判定部８０による視線位置ずれ判定処理の第２判定処理Ｐ２を有効にする（ステップＳ２１６）。視線位置ずれ判定部８０には、共通エリア３ＡＢのサイズが通知される。第２判定処理Ｐ２の終了後に、この第１判定処理Ｐ１は終了する。
視線位置ずれ判定部８０での第２判定処理Ｐ２に関して、先ず、眼球１ｂの動作特性について説明する。図１６は、眼球の動作特性を説明するための図である。眼球１ｂの動作状態によって、視線位置が定まらない瞬間時刻がある。
図１６（ａ）では、視線位置が一気にジャンプするサッカード状態を示し、ある時間区間において検出した複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕの例を示している。共通エリア３ＡＢ内及び共通エリア３ＡＢ外の広い範囲に渡って、複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕが分散している。視線位置が左から右へと一気にジャンプ等の眼球１ｂの動きがあったことを示している。サッカード状態では、眼球１ｂの動きが速すぎて、同号がぶれてしまい、視線位置を正しく検出できない。
図１６（ｂ）では、視線位置が定まっている間の停留状態を示し、ある時間区間において検出した複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕの例を示している。複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕが纏まった範囲に集中して検出されている。眼球１ｂの向き方向が安定し、視線位置が定まっていることを示している。このように視線位置が定まっている時間区間で、視線位置を特定することが望ましい。
視線位置ずれ判定部８０による第２判定処理Ｐ２について説明する。図１７は、視線位置ずれ判定部による第２判定処理を説明するためのフローチャート図である。
図１７において、共通エリア内判定部７０からの共通エリア３ＡＢのサイズの通知に応じて、視線位置ずれ判定部８０のばらつき判定部８２は、現在時刻から遡って予め定められた時間長で時系列な時間区間を決定する（ステップＳ２２１）。時間長は、ユーザによって設定されてもよい。
ばらつき判定部８２は、視線位置ＤＢ５５からステップＳ２２１で決定した時間区間の複数の視線位置３Ａｕ及び複数の視線位置３Ｂｕを取得して（ステップＳ２２２）、複数の視線位置３Ａｕの分散量と複数の視線位置３Ｂｕの分散量とを計算する（ステップＳ２２３）。複数の視線位置３Ａｕには、直近の視線位置データ５３の視線位置３Ａｕが含まれ、複数の視線位置３Ｂｕには、直近の視線位置データ５３の視線位置３Ｂｕが含まれる。
ばらつき判定部８２は、２つの分散量共に分散閾値以上であるか否かを判定する（ステップＳ２２４）。２つの分散量共に分散閾値以上である場合（ステップＳ２２４のＹｅｓ）、ばらつき判定部８２は、ステップＳ２２１から上記同様の処理を繰り返す。
一方、ばらつき判定部８２によって２つの分散量の少なくとも１つが分散閾値未満であると判断された場合（ステップＳ２２４のＮｏ）、視線位置選択部８４が、視線位置ＤＢ５５から直近の視線位置データ５３の視線位置３Ａｕと視線位置３Ｂｕとを選択する（ステップＳ２２５）。
視線位置選択部８４によって、選択した視線位置３Ａｕ及び視線位置３Ｂｕが視線位置誤差想定部８６に通知され、第３判定処理が有効となる（ステップＳ２２６）。第３判定処理の終了後に、この第２判定処理は終了する。
視線位置ずれ判定部８０での第３判定処理Ｐ３を説明する前に、センサ３の視線位置の検出誤差について説明する。図１８は、センサの視線位置の検出誤差を説明するための図である。各センサ３の出力は、誤差を含み、距離５９、角膜形状の個人差等により精度が悪化する場合がある。図１８（ａ）及び図１８（ｂ）において、視線方向１ａｄは同じ視線を示す。
図１８（ａ）では、視線位置の検出誤差が大きい場合の例を示している。顔１ａ−１からの視線方向１ａｄが同じであっても、焦点距離ＦＬより短い距離５９−３の立ち位置、及び角膜形状の個人差によって、視線位置の検出誤差が誤差範囲３ＥＲ−３のように大きくなる場合がある。
図１８（ｂ）では、視線位置の検出誤差が小さい場合の例を示している。顔１ａ−２からの視線方向１ａｄが同じであっても、焦点距離ＦＬと略同じ距離５９−４の立ち位置、及び角膜形状の個人差によって、視線位置の検出誤差が誤差範囲３ＥＲ−４のように小さくなる場合がある。
同一人物であっても、距離５９の違いによって、誤差範囲３ＥＲ−４と誤差範囲３ＥＲ−４のように検出精度が変化し得る。
第２実施例では、距離５９と、各人物の角膜形状パターン毎に、センサ３の誤差範囲３ＥＲを誤差閾値として設定した誤差閾値テーブル８９を予め用意しておく。角膜形状は、画像特徴点データ５７を用いて算出すればよい。
図１９は、誤差閾値テーブルのデータ構成例を示す図である。図１９において、誤差閾値テーブル８９は、距離、各人物の角膜形状パターン毎に縦及び横等の項目を有する。
距離は、各センサ３から顔１ａまでの距離を所定間隔で示している。この例では、単位をｃｍとし、「５０」ｃｍまでの距離から「１０」ｃｍ単位で、「１００」ｃｍまでの距離を示している。センサ３からの最短距離及び距離間隔の値は、この例に限定されない。
各人物の角膜形状パターン毎に、センサ３の誤差範囲３ＥＲがｃｍ単位で縦及び横の長さで示される。この例では、少なくとも、人物Ａの角膜形状パターンＡと、人物Ｂの角膜形状パターンＢとに対するセンサ３の誤差範囲３ＥＲが示されている。
センサ３から距離「５０」ｃｍまでの場合、人物Ａの角膜形状パターンＡに対する誤差範囲３ＥＲは、縦「２０」ｃｍ及び横「２０」ｃｍであり、人物Ｂの角膜形状パターンＢに対する誤差範囲３ＥＲは、縦「２５」ｃｍ及び横「２５」ｃｍである。所定の距離間隔毎に、誤差範囲３ＥＲが示される。
予め人物Ａ、Ｂ等の複数の人物の角膜形状パターンを取得し、取得した角膜形状パターンに対するセンサ３の視線位置の検出の誤差範囲３ＥＲを算出して、誤差閾値テーブル８９を作成しておく。センサ３のずれ検出の際には、最も類似する角膜形状パターンを誤差閾値テーブル８９から特定して、計測した距離に対応付けられた誤差範囲３ＥＲを取得すればよい。
各個人又は人物のグループを特定できる場合、個人又はグループの識別情報毎に、距離に応じた誤差範囲３ＥＲを誤差閾値テーブル８９に設定し、センサ３のずれ検出の際には、個人又はグループの識別情報を用いて誤差範囲３ＥＲを誤差閾値テーブル８９から取得するようにしてもよい。
視線位置ずれ判定部８０による第３判定処理Ｐ３について説明する。図２０は、視線位置ずれ判定部による第３判定処理を説明するためのフローチャート図である。第３判定処理Ｐ３は、眼球１ｂの動きが停留状態であると判定された場合に有効となる。
図２０において、視線位置誤差想定部８６は、視線位置選択部８４からの視線位置３Ａｕ及び視線位置３Ｂｕの通知により、通知された視線位置３Ａｕと視線位置３Ｂｕとをずれ判定用として設定する（ステップＳ２３１）。
そして、視線位置誤差想定部８６は、第１判定処理で算出された距離５９の値を記憶部１３０ｂから取得し対象距離として設定し（ステップＳ２３２）、誤差閾値テーブル８９から距離５９に対応付けられた誤差閾値を取得し誤差範囲３ＥＲに設定する（ステップＳ２３３）。
次に、ずれ有無判定部８８が、２つの視線位置３Ａｕ及び視線位置３Ｂｕの間の距離が判定閾値以上であるか否かを判定する（ステップＳ２３４）。２つの視線位置３Ａｕ及び視線位置３Ｂｕの間の距離が判定閾値未満である場合（ステップＳ２３４のＮｏ）、ずれ有無判定部８８は、隣接する２つのセンサ３にずれはないと判定する。この場合、２つの視線位置３Ａｕ及び視線位置３Ｂｕに対する第３判定処理は終了し、第３判定処理は、視線位置選択部８４からの次の通知を受けることで有効となる。
一方、２つの視線位置３Ａｕ及び視線位置３Ｂｕの間の距離が判定閾値以上である場合（ステップＳ２３４のＹｅｓ）、ずれ有無判定部８８は、隣接する２つのセンサ３のうち１つ以上がずれていると判定し、ずれ有りを示すずれ判定結果９ｒを記憶部１３０ｂに出力する（ステップＳ２３５）。ずれ判定結果９ｒは、２つのセンサ３の識別情報を示すようにしてもよい。そして、第３判定処理は終了し、第３判定処理は、視線位置選択部８４からの次の通知を受けることで有効となる。
記憶部１３０ｂに出力された判定結果９ｒは、通知処理部９０によって、予め定められた送信先に送信される。
上述した第１実施例及び第２実施例では、隣接された各センサ３が撮像する撮像画像４ｇが重なる共通エリア３ＡＢを利用して設置ずれの判定が行われる。システム１００２（図８）のように、情報処理装置７を含むセンサ３−１が設置ずれの判定を行う場合には、センサ３−１が主となり、センサ３が従となる主従関係において第１実施例又は第２実施例に係る処理が行われる。
次に、検出範囲を広げるための複数のセンサ３の設置方法について説明する。図２１は、垂直方向の検出範囲を広げる複数のセンサの設置方法を示す図である。図２１中、センサＡとセンサＢで表される２つのセンサ３で説明するが、センサ３は３つ以上であってもよい。
図２１（ａ）では、センサＡとセンサＢとを接近させ、かつ、垂直方向に設置角度差θを持たせて配置させることで、垂直方向の検出範囲を広げる設置方法イを示している。図２１（ｂ）では、センサＡとセンサＢとを離し、設置角度を同一にしセンサＡ及びＢの向きを略平行にして配置させることで、垂直方向の検出範囲を広げる設置方法ロを示している。この例では、センサＡとセンサＢとを垂直方向に離して、センサＡとセンサＢの夫々の向きを地面に対して平行に設置している。
センサＡ又はＢに対して視線方向（即ち、顔１ａの向き）が大きくなると検知範囲をこえるため視線位置を精度良く計測できない場合がある。顔１ａの位置によらず一定の位置を見る場合、一例としてスーパーマーケットのワゴンを見る場合等では、商品の位置が有る程度一定であるため、設置方法イでセンサＡ及びＢを配置し、垂直方向の検知範囲を広げる。
センサＡ又はＢの正面を見る状況、一例として、靴屋のように、上から下まで商品が陳列してあり、顔１ａが上方にあるときに上方の対象物を見る場合、また、顔１ａが下方にあるときに地面の近くの対象物を見る場合では、設置方法ロのようにセンサＡ及びＢを配置して、検知範囲を広げる。
図２２は、水平方向の検出範囲を広げる複数のセンサの設置方法を示す図である。図２２中、センサＡとセンサＢで表される２つのセンサ３で説明するが、センサ３は３つ以上であってもよい。
図２２（ａ）では、センサＡとセンサＢとを接近させ、かつ、水平方向に設置角度差θを持たせて配置させることで、水平方向の検出範囲を広げる設置方法ハを示している。図２２（ｂ）では、センサＡとセンサＢとを離し、設置角度を同一にしセンサＡ及びＢの向きを略平行にして配置させることで、水平方向の検出範囲を広げる設置方法ニを示している。この例では、センサＡとセンサＢとを水平方向に離して、センサＡとセンサＢの夫々の向きを地面に対して平行に設置している。
対象物が左右方向から注視される場合には、設置方法ハでセンサＡ及びＢを配置し、水平方向の検知範囲を広げる。正面の対象物を見る場合には、設置方法ニでセンサＡ及びＢを配置し、水平方向の検知範囲を広げる。
図２１（ａ）の設置方法イと図２２（ｂ）の設置方法ニとを組み合わせることにより、垂直方向及び水平方向の検出範囲を広げることができる。図２３は、垂直方向及び水平方向の検出範囲を広げる設置例を示す図である。
図２３では、センサ３Ａ、３Ｂ、３Ｃ、及び３ｂの４つのセンサ３を用いて、垂直方向及び水平方向の検出範囲を広げる設置例を示している。４つのセンサ３は、商品６１ｐ、６２ｐ、及び６３ｐの近傍に設置され、無線又は有線により予め定められた情報処理装置７とに接続される。
センサ３Ａ及び３Ｂは、商品６１ｐの側に設置方法イにより、垂直方向の検出範囲を広げて設定される。設置方法イにより、視線位置の縦方向の検出範囲を広くでき、センサ３Ａ及び３Ｂの共通エリアに視線位置を検出した場合、センサ３Ａ及び３Ｂに係る設置ずれの有無を判定できる。
センサ３Ｃ及び３Ｄも、同様に、商品６３ｐの側に設置方法イにより、垂直方向の検出範囲を広げて設定される。設置方法イにより、視線位置の縦方向の検出範囲を広くでき、センサ３Ｃ及び３Ｄの共通エリアに視線位置を検出した場合、センサ３Ｃ及び３Ｄに係る設置ずれの有無を判定できる。
また、センサ３Ａ及び３Ｂと、センサ３Ｃ及び３Ｄとを、設置方法ニにより、水平方向の検出範囲を広げて設置する。センサ３Ａ及び３Ｃの共通エリアに視線位置を検出した場合、センサ３Ａ及び３Ｃに係る設置ずれの有無を判定できる。センサ３Ｂ及び３Ｄの共通エリアに視線位置を検出した場合、センサ３Ｂ及び３Ｄに係る設置ずれの有無を判定できる。
図２３では、酒類等のボトル形状の商品６１ｐ、６２ｐ、及び６３ｐを陳列した例を示している。商品６１ｐ〜６３ｐの各々には、価格６１ｒ、銘柄６１ｍが示されている。顧客が、どのボトルに関心を示し、その理由が何かを、視線位置を検出することで、マーケティングを行うことができる。
このような陳列において、顧客が関心を持つボトルの特定は、設置方法ニによって可能となる。また、顧客が関心を示した理由が、価格６１ｒであるのか、銘柄６１ｍであるのかの調査は、設置方法イによって可能となる。
このように比較的安価なセンサ３を複数用いて検知範囲を拡大した場合であっても、第１実施例又は第２実施例により、センサ３の設置ずれを検出できる。
上述では、２つのセンサ３を隣接させた場合で説明したが、３つ以上のセンサ３を隣接させてもよい。その場合の複数センサ間の主従関係について説明する。
図２４は、３つ以上のセンサを１列に設置した場合のセンサの主従関係の例を説明するための図である。図２４中、隣接する３つのセンサを、センサＡ、センサＢ、及びセンサＣとする。
図２４において、検出範囲６８が、センサＡ、センサＢ、及びセンサＣを組み合せることによって得られる範囲を示す。検出範囲６８において、予め、各センサＡ、Ｂ、及びＣ毎に、顔１ａが隣接する２つのセンサ３で撮像される共通エリア３ＡＢ及び３ＢＣを定義しておく。
センサＡに対して共通エリア３ＡＢが設定され、センサＣに対して共通エリア３ＢＣが設定される。センサＢに対しては、共通エリア３ＡＢ及び共通エリア３ＢＣの２つの共通エリアが設定される。
この例では、共通エリア３ＡＢはセンサＡのメイン領域２１Ａに含まれる。また、共通エリア３ＡＢと共通エリア３ＢＣの間のエリア９Ｂと、共通エリア３ＢＣとが、センサＢのメイン領域２１Ｂに含まれる。センサＣのメイン領域２１Ｃは、共通エリア３ＢＣを含まない。
顔１ａが共通エリア３ＡＢ以外のセンサＡのメイン領域２１Ａに位置する場合、センサＡのみで検知可能なため、設置ずれ判定は行われない。
顔１ａが共通エリア３ＡＢに位置する場合、センサＡとセンサＢとで検知可能であるが、共通エリア３ＡＢはセンサＡのメイン領域２１Ａに含まれるため、センサＡがメインとなり、センサＢはサブとなる。
顔１ａがエリア９Ｂに位置する場合、センサＢのみで検知可能なため、設置ずれ判定は行われない。
顔１ａが共通エリア３ＢＣに位置する場合、センサＢとセンサＣとで検知可能であるが、共通エリア３ＢＣはセンサＢのメイン領域２１Ｂに含まれるため、センサＢがメインとなり、センサＣはサブとなる。
顔１ａがセンサＣのメイン領域２１Ｃに位置する場合、センサＣのみで検知可能なため、設置ずれ判定は行われない。
図２４に示す主従関係では、少なくともセンサＡ及びＢは、システム１００２（図８）のセンサ３−１の構成を有することが望ましく、センサＣは、システム１００２（図８）のセンサ３の構成でよい。上述した主従関係に従って、センサＢは、撮像画像４ＢｇをセンサＡへ送信する。サンサＣは、撮像画像４ＣｇをセンサＢへ送信する。
サンサＡ、Ｂ、及びＣを水平方向に１列に設置した場合、及び、垂直方向に１列に設置した場合においても、上述した図２４の例のように主従関係を定めればよい。
上述したように、第１実施例及び第２実施例によって、ＬＥＤライト３ａと、カメラ３ｂとを有する、２つのセンサ３（撮像装置）を用いて検出範囲を拡大した場合においても、各センサ３の撮像画像４ｇ毎に、撮像画像４ｇから得た特徴点に基づいて視線位置を計算し、計算した結果を用いてセンサ３の設置ずれを検出することにより、計算負荷を低減できる。
なお、流通分野で複数の人物の視線を検出する様々な状況においては、センサ３のコストの削減、及び、計算負荷の低減が求められており、第１実施例及び第２実施例によりこれらの課題を解決できる。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
以上の第１実施例及び第２実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出し、
抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出し、
検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を算出し、
算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定する
処理をコンピュータに行わせるずれ判定プログラム。
（付記２）
前記第１の視線位置と前記第２の視線位置とが、前記第１の撮像装置と前記第２の撮像装置との前記視線検出の前記有効範囲が重なる共通範囲内であるか否かを判定し、
前記第１の視線位置と前記第２の視線位置とが前記共通範囲内である場合に、前記設置ずれを判定する
ことを特徴とする付記１記載のずれ判定プログラム。
（付記３）
前記第１の視線位置と前記第２の視線位置とが前記共通範囲内である場合に、更に、該第１の視線位置と該第２の視線位置との間の距離が誤差範囲以上である場合、前記第１の撮像装置、および／または前記第２の撮像装置が前記所定の位置からずれていると判定し、ずれ判定結果を出力する
処理を前記コンピュータに行わせる付記２記載のずれ判定プログラム。
（付記４）
前記第１の画像および前記第２の画像の１つ以上から抽出した複数の前記第１の特徴点及び複数の前記第２の特徴点に基づいて、前記第１の撮像装置又は前記第２の撮像装置から前記人物までの距離を計算し、
前記第１の撮像装置又は前記第２の撮像装置から前記人物までの処理の距離毎に、前記共通範囲のサイズを対応付けたテーブルを参照して、計算した前記距離に対応する該共通範囲のサイズを取得し、
取得した前記サイズに基づいて、前記第１の視線位置と前記第２の視線位置とを含む領域に前記共通範囲を定める
処理を前記コンピュータに行わせる付記２又は３記載のずれ判定プログラム。
（付記５）
算出した前記第１の視線位置および前記第２の視線位置を時系列に記憶部に記憶し、
前記記憶部に記憶された、現時刻から所定の時間区間の複数の前記第１の視線位置および複数の前記第２の視線位置を取得して第１の分散量及び第２の分散量を計算し、
前記第１の分散量及び前記第２の分散量が分散閾値未満である場合、現時刻の前記第１の視線位置および前記第２の視線位置をずれ判定用として選択する
処理を前記コンピュータに行わせる付記２記載のずれ判定プログラム。
（付記６）
前記誤差範囲を、前記第１の視線位置と前記第２の視線位置との間の距離と、前記人物の角膜形状とに基づいて取得する
処理を前記コンピュータに行わせる付記２乃至４記載のずれ判定プログラム。
（付記７）
視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出し、
抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出し、
検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を算出し、
算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定する
処理をコンピュータが行うずれ判定方法。
（付記８）
視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出する顔領域抽出部と、
抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出する検出部と、
検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を特定する視線特定部と、
算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定するずれ判定部と
を有する情報処理装置。
（付記９）
前記第１の特徴点及び前記第２の特徴点は、夫々、瞳孔及び角膜反射の特徴点であることを特徴とする付記８記載の情報処理装置。
（付記１０）
前記第１の撮像装置および前記第２の撮像装置は、赤外線ＬＥＤライトと、デジタルカメラとを有するセンサであることを特徴とする付記８又は９記載の情報処理装置。
１ａ 顔、 １ｂ 眼球
１ｃ 基準点（角膜反射位置）、 １ｅ 瞳孔
３、３Ａ、３Ｂ、３Ｃ、３Ｄ センサ
３ａ ＬＥＤライト、 ３ｂ カメラ
３Ａｕ、３Ｂｕ 視線位置
４ｇ、４Ａｇ、４Ｂｇ 撮像画像
７ 情報処理装置
５０、５０Ａ、５０Ｂ 視線検出処理部
６０ ずれ判定処理部
７０ 共通エリア内判定部
８０ 視線位置ずれ判定部
９０ 通知処理部
９０ｍ 対応マップ

Claims (7)

  1. 視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出し、
    抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出し、
    検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を算出し、
    算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定する
    処理をコンピュータに行わせるずれ判定プログラム。
  2. 前記第１の視線位置と前記第２の視線位置とが、前記第１の撮像装置と前記第２の撮像装置との前記視線検出の前記有効範囲が重なる共通範囲内であるか否かを判定し、
    前記第１の視線位置と前記第２の視線位置とが前記共通範囲内である場合に、前記設置ずれを判定する
    ことを特徴とする請求項１記載のずれ判定プログラム。
  3. 前記第１の視線位置と前記第２の視線位置とが前記共通範囲内である場合に、更に、該第１の視線位置と該第２の視線位置との間の距離が誤差範囲以上である場合、前記第１の撮像装置、および／または前記第２の撮像装置が前記所定の位置からずれていると判定し、ずれ判定結果を出力する
    処理を前記コンピュータに行わせる請求項２記載のずれ判定プログラム。
  4. 前記第１の画像および前記第２の画像の１つ以上から抽出した複数の前記第１の特徴点及び複数の前記第２の特徴点に基づいて、前記第１の撮像装置又は前記第２の撮像装置から前記人物までの距離を計算し、
    前記第１の撮像装置又は前記第２の撮像装置から前記人物までの処理の距離毎に、前記共通範囲のサイズを対応付けたテーブルを参照して、計算した前記距離に対応する該共通範囲のサイズを取得し、
    取得した前記サイズに基づいて、前記第１の視線位置と前記第２の視線位置とを含む領域に前記共通範囲を定める
    処理を前記コンピュータに行わせる請求項２又は３記載のずれ判定プログラム。
  5. 算出した前記第１の視線位置および前記第２の視線位置を時系列に記憶部に記憶し、
    前記記憶部に記憶された、現時刻から所定の時間区間の複数の前記第１の視線位置および複数の前記第２の視線位置を取得して第１の分散量及び第２の分散量を計算し、
    前記第１の分散量及び前記第２の分散量が分散閾値未満である場合、現時刻の前記第１の視線位置および前記第２の視線位置をずれ判定用として選択する
    処理を前記コンピュータに行わせる請求項３又は４記載のずれ判定プログラム。
  6. 視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出し、
    抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出し、
    検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を算出し、
    算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定する
    処理をコンピュータが行うずれ判定方法。
  7. 視線検出の有効範囲が重なる所定の位置に設置された第１の撮像装置および第２の撮像装置を用いて撮影した第１の画像および第２の画像の中からそれぞれ人物の第１の顔領域および第２の顔領域を抽出する顔領域抽出部と、
    抽出した前記第１の顔領域および前記第２の顔領域それぞれにおける光反射に基づく第１の特徴点および第２の特徴点を検出する検出部と、
    検出した前記第１の特徴点および前記第２の特徴点に基づいて前記人物の第１の視線位置および第２の視線位置を特定する視線特定部と、
    算出した前記第１の視線位置と前記第２の視線位置の相対的な位置関係に基づいて前記第１の撮像装置、および／または前記第２の撮像装置の前記所定の位置からの設置ずれを判定するずれ判定部と
    を有する情報処理装置。
JP2016043045A 2016-03-07 2016-03-07 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置 Pending JP2017163180A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016043045A JP2017163180A (ja) 2016-03-07 2016-03-07 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置
US15/408,103 US20170255817A1 (en) 2016-03-07 2017-01-17 Recording medium, displacement determination method, and information processing apparatus
CA2955000A CA2955000A1 (en) 2016-03-07 2017-01-17 Displacement determination program, method, and information processing apparatus
EP17151970.5A EP3217257A1 (en) 2016-03-07 2017-01-18 Displacement determination program, method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016043045A JP2017163180A (ja) 2016-03-07 2016-03-07 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置

Publications (1)

Publication Number Publication Date
JP2017163180A true JP2017163180A (ja) 2017-09-14

Family

ID=57850931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016043045A Pending JP2017163180A (ja) 2016-03-07 2016-03-07 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置

Country Status (4)

Country Link
US (1) US20170255817A1 (ja)
EP (1) EP3217257A1 (ja)
JP (1) JP2017163180A (ja)
CA (1) CA2955000A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6822482B2 (ja) * 2016-10-31 2021-01-27 日本電気株式会社 視線推定装置、視線推定方法及びプログラム記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220920B2 (ja) 2004-03-08 2009-02-04 ファナック株式会社 視覚センサ
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US7682026B2 (en) * 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
US8648897B2 (en) * 2006-10-10 2014-02-11 Exelis, Inc. System and method for dynamically enhancing depth perception in head borne video systems
WO2010057304A1 (en) * 2008-11-21 2010-05-27 London Health Sciences Centre Research Inc. Hands-free pointer system
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
FR2989482B1 (fr) * 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
US9693684B2 (en) * 2013-02-14 2017-07-04 Facebook, Inc. Systems and methods of eye tracking calibration
US9297945B2 (en) * 2013-07-26 2016-03-29 Citizen Holdings Co., Ltd. Light source device and projection device
US9483143B2 (en) * 2013-09-27 2016-11-01 International Business Machines Corporation Method and system providing viewing-angle sensitive graphics interface selection compensation
JP2015119372A (ja) 2013-12-19 2015-06-25 株式会社日立製作所 マルチカメラ撮影システムおよびマルチカメラ撮影画像の合成方法
US9843713B2 (en) * 2014-04-02 2017-12-12 Nebulys Technologies, Inc. Systems and methods for video communication
JP6256165B2 (ja) * 2014-04-09 2018-01-10 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法

Also Published As

Publication number Publication date
EP3217257A1 (en) 2017-09-13
CA2955000A1 (en) 2017-09-07
US20170255817A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
US10499808B2 (en) Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
US9395195B2 (en) System, method and program for managing and displaying product information
JP4173902B2 (ja) 車両周辺監視装置
KR20170089743A (ko) 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치
US10304250B2 (en) Danger avoidance support program
JPWO2018030515A1 (ja) 視線検出装置
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP2011220732A (ja) 車両の周辺監視装置
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
US11057606B2 (en) Method and display system for information display based on positions of human gaze and object
JP2013024662A (ja) ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
US11869162B2 (en) Apparatus and method with virtual content adjustment
US10642353B2 (en) Non-transitory computer-readable storage medium, information processing apparatus, and information processing method
JP2017163180A (ja) ずれ判定プログラム、ずれ判定方法、及び、情報処理装置
JP2013196492A (ja) 画像重畳処理装置、方法およびプログラム
US20220076399A1 (en) Photographing guide device
JP6179447B2 (ja) 視線検出装置、視線検出方法
EP3336799A2 (en) Image processing apparatus and image processing method combining views of the same subject taken at different ranges
KR101316387B1 (ko) 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법
JP2012058353A (ja) 画像表示装置、及びその制御方法
JP5786539B2 (ja) 目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラム
JP2024013469A (ja) 重複状態判別装置、方法及びプログラム
JP2024017717A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP4394053B2 (ja) 画像認識装置