JP2006293786A - 視線入力装置を備えた市場調査用機器 - Google Patents

Abstract

【課題】
これまで市場調査の観察法に用いたアイカメラによる調査が客観性を欠くことがあった点を改良し、より正確に商品陳列技術向上や、商品のラベルのあり方の改善に向けた調査が行ない得るようにする。
【解決手段】
販売店内に於ける調査の自由度を高める事を目的とした商品陳列ケース（１）の任意の棚（２）やマネキン（２１）の任意の位置やショウウインドウ（３１）の任意に位置に取り付けた複数のカメラ（３-１、３-２、・・３−Ｘ）と、前記複数のカメラの撮影したデータを同時に収集する画面分割用機器（４）と、前記画面分割用機器に収録された画面データを解析する視線認識ソフト（６）を備えたコンピュータ（５）と、解析したデータを蓄積するデータベース（７）を設ける。
【選択図】
図１

Description

本発明は、これまで市場調査の観察法に用いたアイカメラによる調査が客観性を欠くことがあった点を改良し、より正確に商品陳列技術向上や、商品のラベルのあり方の改善に向けた調査が行ない得る視線検知装置を用いた市場調査用機器に関する。

本発明の市場調査用機器に用いる基礎視線入力技術に関し、発明者の内１名は、非特許文献１に記載の機械技術学会の査読論文として発表している。その内容は、顔上の特徴点である両目頭と鼻の穴から構成される三角形を特定し顔の向きを抽出し、黒目像の境界を楕円と考えて近次しフィルタリングによる手法で視線特定可能としたものである。

また、画面分割機器は、現在９分割可能な機器が市販されている。発明者の内１名は、リハビリテーション診断システムに関する研究報告である非特許文献２に記述されているように、画面分割ユニットを用いて、３台のビデオカメラのデータを同時に収集した経験を持つ。

非特許文献３には、ユーザーの特定の動きを何ら特別な装置を身につける事無く、背景のノイズを無視して、認識できるジェスチャー認識システムの研究が報告されている。

本特許は、これらの技術を基礎に、市場調査用機器を提供しようとするものである。

視線入力技術には多くの先行技術があり、特許文献１から特許文献20として示す。

特許文献1は目的を、「視線キャリブレーション動作失敗時におけるキャリブレーション動作再実行時の繁雑さを軽減し得る視線入力装置を提供する。」として、視線キャリブレーション動作が失敗した旨を、使用者にＥＶＦ１０により一定時間報知した後、視線キャリブレーション動作を再実行するための初期状態に、システム制御部５により自動的に遷移される。

特許文献2は目的を、「瞳孔中心と視線方向との相関関係の再測定や、パーソナルコンピュータ等への入力の中断等の機器操作を、重度の障害者であっても自力で行なうことが可能な視線入力装置を提供する。」として、撮像光学系１を用いて操作者の眼球画像を取り込み、視線検出部２１で視線方向を検出し、その検出情報に基づいてパーソナルコンピュータ等の機器のポインティングデバイスを操作する入力装置において、操作者が目を閉じたことを検出する手段２３を設け、その検出結果を用いて、瞳孔中心と視線方向との相関関係の再測定や、パーソナルコンピュータ等への入力の中断などの機器操作を行うようにする。

特許文献3は課題を、「比較的簡単な構成のもとに、入力の指示精度を改善し、しかも障害者に対する負担も従来のこの種の装置に比べて軽減することのできる視線入力装置を提供する。」として、ＣＣＤカメラ３３からの画像信号は、まず２値化回路４１に取り込まれ、あらかじめ設定された閾値を用いた２値化が行われた後、瞳孔・反射点抽出回路４２によって、赤外光源３１からの赤外光の角膜の反射像の位置、瞳孔画像の中心位置がそれぞれ抽出され、視線検出演算回路４３によって、使用者の視線位置が計算され、縮瞳検出回路４４に記憶される。縮瞳検出回路４４では瞳孔面積および視線移動速度を計測し、瞳孔面積が設定した閾値以下であるときに縮瞳が起こったと判断し、縮瞳が起こった時刻の前後において視線移動速度に変化が起こり、その後視線移動速度が設定した閾値以下になった時に、縮瞳検出回路４４は入力確定信号を出力する。

特許文献4は課題を、「比較的簡単な構成のもとに、入力の指示精度を改善し、しかも障害者に対する負担も従来のこの種の装置に比べて軽減することのできる視線入力装置を提供する。」として、ヘッドマウントディスプレイ１は、装着者に画像を提供するＬＣＤ（液晶表示装置）１１と、表示用光学系１２、およびハーフミラー１３を左右両眼用に一対ずつ備え、ＬＣＤ１１にはパーソナルコンピュータ２からの画像信号が供給され、装着者の眼前にパーソナルコンピュータ２の表示画像が拡大表示される。撮像光学系３のＣＣＤカメラ３３からの眼球画像信号は、視線検出回路４に供給される。ＣＣＤカメラ３３からの画像信号は、まず２値化回路４１に取り込まれ、あらかじめ設定された閾値を用いた２値化が行われた後、瞳孔・反射点抽出回路４２によって、赤外光源３１からの赤外光の角膜の反射像の位置、瞳孔画像の中心位置がそれぞれ抽出され、視線検出演算回路４３によって、使用者の視線位置が計算され、視線位置記憶回路４４に記憶される。

特許文献5は課題を、「視線入力のために表示装置と撮影装置を使用者に対して適切な位置に配置するための作業を自動化し、介護負担の軽減と使用者の負担の軽減に寄与できる視線入力装置を提供する。」として、使用者７の眼前に虚像を結像する表示装置11に対する相対配置が一定とされる撮影装置12により、使用者７の眼球を撮影する。その撮影した眼球の動きに対応する視線入力信号を出力する。その表示装置11と撮影装置12とを、使用者７からみて少なくとも左右方向に、支持する支持機構４に対して駆動する駆動機構23を備える。その撮影装置12よる撮影範囲の中における予め設定した位置と、その撮影した眼球の中における予め設定した位置との間の、少なくともその左右方向における距離を演算する。その演算距離と予め設定した目標距離との偏差をなくすように、その駆動機構23を制御する。

特許文献6は課題を、「スイッチをオペレータの手の届かないところに配置可能とし，装置デザインの自由度を向上させ，かつ，長時間作業時の疲労度を低減させる。」として、人間１０１の眼球部を照明する近赤外光源１０２ａと，近赤外光源１０２ａと共軸になるように配置され，近赤外光源１０２ａによって照明された領域の明るさ分布を入力するＣＣＤカメラ１０２ｃと，ＣＣＤカメラ１０２ｃの入力データから瞳孔および角膜反射像の位置を抽出する瞳孔・角膜反射像抽出部１０８と，瞳孔・角膜反射像抽出部１０８で抽出した瞳孔および角膜反射像の位置に基づいて，ＣＣＤカメラ１０２ｃが人間に注視されているか否かを判定する注視判定部１０９と，注視判定部１０９によって注視されていると判定された場合，予めＣＣＤカメラ１０２ｃと対応させて記憶させてある情報を出力するセレクタＣ１１０および文字入力部１１１とを備えている。

特許文献7は課題を、「眼球のフレームアウトやピンぼけの発生を未然に防ぎ、操作者の眼球位置の保持を容易にして、狭い撮影視野と高い視線計測精度を容易に両立可能な、優れた視線入力装置を実現すること。」として、操作者の視線方向や眼球位置を計測し、該情報によってコンソールモニタに指示を与え、周辺機器の制御を行なう視線入力装置において、該コンソール上あるいはその延長上、あるいは、操作者とコンソールモニタの間の空間に、操作者が特定位置に目を置いて、特定方向を見たときにのみ可視可能な表示を行い、視線検知エリアは、該表示が見える位置とする構成とする。

特許文献8は課題を、「眼球のフレームアウトや焦点ぼけの発生を防止する。」として、視線入力手段により撮像した眼球の画像から、撮像画像内の眼球位置および眼球の合焦度合を検出し、眼球位置を表すマーカ、および合焦時，非合焦時，眼球非検出時にそれぞれ対応した合焦度合表示マーカを表示画面上に表示する。そして、眼球の合焦位置からのずれ量をずれの方向と共に多段階に表示したり、合焦度合表示マーカを画面上の視線位置に表示してもよい。

特許文献9は目的を、「表示手段の表示画面に表示された表示項目を視線によって選択する際の誤動作を防止することを目的とする。」として、表示手段と、視線位置検出手段と、一致検出手段と、処理実行手段と、受付制御手段とを設け、上記表示手段の表示画面が切り換わった場合は、その直後の所定の期間においては、操作者の視線位置と上記表示手段に表示された選択項目の表示位置との一致が検出されても、視線入力による処理実行の受付を禁止するようにすることにより、視線スイッチが誤って機能してしまう誤動作を無くすようにして、装置が誤動作してしまうことを防止する。

特許文献10は課題を、「視線入力装置における入力の操作性や重要な入力の確実性、画像の鑑賞性などを向上させる。」として、視線位置検出手段による視線位置検出可能範囲Ｓに表示された画像Ｇの外側領域が含まれるように構成し、表示された画像Ｇの外側領域に入力指示部を設定することで、入力指示部を配置する範囲を画像Ｇの外側領域まで広げて、重要な入力指示部を含む個々の入力指示部のサイズを大きくすることができる。また、テレビ画像やビデオの再生画像などの画像Ｇを表示する場合には、適宜の操作指示用の入力操作部を画像Ｇの外側領域だけに設定することもできる。

特許文献11は課題を、「十分な大きさの文字を表示させることで、効率良く文字の入力を行なうことができる視線入力装置を提供する。」として、文字領域４２には、複数種類の文字群の一部を表示する。観察者の視線の位置を示す視線カーソル４によって、文字領域４２内の文字を選び入力する。また、文字領域４２に表示されていない文字を入力する場合には、文字領域４２の端側に文字の一部分が表示されている文字の位置に視線カーソル４を移動させる。この位置に視線カーソル４が移動すると、文字領域４２内の文字群はスクロールして、新たな文字が文字領域４２内に表示される。観察者は、希望する文字が表示されると、その文字に視線カーソル４を移動させて文字の入力を行なう。したがって、文字領域４２の各文字は、視線入力を行なうのに十分な大きさで表示されているので、文字入力を効率良く行なうことができる。

特許文献12は目的を、「操作者の目が固視微動、および随意運動・跳躍運動のいずれの動きをしている場合においても、操作性のよい視線入力装置を提供する。」として、撮像光学系１を用いて操作者の眼球画像を取り込み、その眼球画像データから瞳孔中心位置を検出し視線方向を検出し、その視線方向に基づいてポインティングデバイスを操作する視線入力装置２において、所定時間内における瞳孔中心位置の移動距離を検出する瞳孔移動距離検出部２２と、その移動距離に基づいて、操作者の眼球の動きが、固視微動であるか、または随意運動・跳躍運動であるかを判断し、その判断結果に基づき、瞳孔中心位置データ数を適当に変更して平均値を計算し、この計算結果に基づき視線方向を検出する視線検出部２３とを備えている。

特許文献13は課題を、「外来光からの背景ノイズに影響されることなく、太陽光の下でも安定した視線入力を行なうことが出来る視線入力装置を提供する。」として、ヘッドマウントディスプレイを操作者に装着し、ＬＣＤ（液晶表示装置）１にコンピュータ５から送られた入力指示用画像をミラー４、ハーフミラーＡ３を介して眼球に入力するとともに、赤外光源６を変調回路１０によって赤外光をオンーオフして眼球を照射し、その時の眼球画像をハーフミラーＢ７を介してＣＣＤカメラ（赤外カメラ）８で捉え、視線検出回路９に入力する。視線検出回路９の差分画像記憶手段１２によって、赤外光源６によって照射されたときの眼球画像と、照射されていないときの画像を差分し、背景ノイズを除いて視線検出を行なう。したがって、太陽光の下でも安定した視線入力をおこなうことができる。

特許文献14は課題を、「網膜反射像の明るさを増し、もって視線計測処理を容易、かつ高精度に行なう。」として、一方の眼球部１３の瞳孔を支点として第１の光源Ａ１１、及びＣＣＤカメラ１４と視線方向判定像３１との成す角度を１５度±３度程度に設定する。眼球部１３の瞳孔が視線方向判定像３１の特定の位置を注視する時、ＣＣＤカメラ１４には視神経乳頭５１から反射する非常に明るい網膜反射像が入力される。この網膜反射像は大きなしきい値で抽出することができるため、抽出処理を簡素化することができる。

特許文献15は課題を、「マウスは、頻繁に移動させる必要があり面倒である上に、手などにハンディキャップを持つ者にとっては操作が難しい。」として、作業者は、信号処理部２０を介してコンピュータ５０に接続されている入出力部１０を、眼鏡のように頭部に装着する。コンピュータ５０から出力された画像信号が画像拡大縮小部２３を介して画像表示部１１に入力され画像が表示される。作業者は、その画像を見ながら所望のオブジェクトに視点を移し、音声入力部３２に向かって所定の単語を発声する。すると、アイカメラ１２はその視点を検出し視点位置計算部２１において座標変換を行い、また音声認識部３３がその単語を認識し、信号変換部２２でその視点位置および音声入力が対応付けられてコンピュータ５０に入力される。コンピュータ５０は、作業者が選択したオブジェクトを特定し、発声された単語の種類に対応した処理を行なう。

特許文献16は課題を、「本発明は表示装置等に位置入力を行なう入力装置に関し、手操作によらずに位置入力を行なうことを目的とする。」として、操作者１６に装着されるアイカメラ１７より、ディスプレイ１２上での視点の位置移動に応じた位置信号、及び操作者１６の所定回数の瞬きによる該位置信号を区別される位置設定信号が処理手段１５のコンピュータ１４に送出される。コンピュータ１４は、位置信号に応じてディスプレイ１２上のカーソル１８を移動させ、位置設定信号に応じて当該カーソル１８の位置を確定させる構成とする。

特許文献17は目的を、「視線の方向を検知することによりコンピュータ入力することの出来る装置。」として、接眼レンズ１の周りに先端にレンズ２のついたグラスファイバーの束３をつけＣＣＤカメラ４に接続する。前方に液晶ディスプレイ６を取り付け、ＣＣＤカメラ４と液晶ディスプレイ６をそれぞれケーブル７で接続することを特長とする。

特許文献18は課題を、「第１のものとして、算出される注視距離情報に応じたフォーカスが可能な操作性の良い眼光学装置を得ること。」として、第１のものとして、前眼部を照明された両眼を撮像し、これより注視距離情報を演算し、この情報に応じて立体画像表示手段のフォーカスを調整する。

特許文献19は目的を、「マウス等によるマウスカーソル等の移動、アイコンの選択や画面移動等の操作を、アイカメラやゴーグルなどの装備を装着すること無しに、オペレータの視線を利用して簡単に操作でき、マウス等のボタン操作を音声によって行なうことにより、手を使わずにマウスと同等の機能を実現する入力装置の提供。」として、オペレータと離間した所定の位置にオペレータの注目する視線を入力するカメラを備え、カメラから入力信号に基づきオペレータの注目する視線の前記ディスプレイ装置の画面上における位置及び移動の情報を取得する画像処理手段を備え、該取得した情報に基づきカーソル移動等のポインティング操作を行い、オペレータの発する音声をマイクで拾い、オペレータの音声情報を認識する音声認識手段で認識された指示に従いマウスやジョイスティックのボタン操作を行う。

特許文献20は目的を、「視線入力手段を用いることでコンピュータの操作性を飛躍的に向上した視線入力システムを提供すること、さらには視線入力検知モードのｏｎ／ｏｆｆを思いのまま、あるいは簡便、的確に切り替えることが可能で、操作性を向上した視線入力システムを提供すること。」として、このシステムは、コンピュータ操作者の視線を検出し、その視線による入力手段を持たせたシステムを用いて、ＯＣＲ処理の際の絵柄部分と文字部分の区分けを特別に行なうことなく、視線の動きをより自動的に判別してスムーズなＯＣＲ処理を行えるようにしている。又、ワードプロセッサなどの文字変換に視線を用いてスムーズに文書作成が行なえるようにしている。視線検知モードのｏｎ／ｏｆｆ切り替えの為に、該視線検知モードのｏｎ／ｏｆｆ切り替え手段として、音声を用いる。また、他の態様としポインティングデバイスを用いる。更には、他の態様としてキーボードを用いる。

上記の通りであり、視線入力装置に関する特許申請である。

また視線検出機能に関するものには特許文献21から特許文献26があり：

特許文献21は構成を、「赤外線を反射すると共に可視光を透過するホットミラー３と、ＬＥＤ２から出射されると共にホットミラー３で反射される赤外線により被験者の目４を撮像する赤外線カメラ５とを備える。ホットミラーは目４の前方に配置され、赤外線カメラ５は被験者の前方視野を阻害しない位置に配置される。」として、視覚刺激を与えながら目の動きを検出したり、あるいは外景を観察している状態での目の動きを検出することができる。

特許文献22は目的を、「視線情報を用いて制御手段を機能させる視線入力モード、視線情報を用いずに前記制御手段を機能させる視線入力禁止モード、或は、視線情報と注視目標とを較正する視線キャリブレーションモードの選択時の操作性を向上させると共に、意図したモードの確実な選択を可能にする。」として、視線検出手段１００，１００ａ，１０１により得られる視線情報を用いて制御手段を機能させる視線入力モード，視線情報を用いずに制御手段を機能させる視線入力禁止モード，視線情報と注視目標とを較正する視線キャリブレーションモードとを選択可能な第１の選択手段と、該第１の選択手段にて選択されたモードの内容を表示する表示手段１０５，１０６とを設けている。

特許文献23は目的を、「ファインダ視野内を繁雑にすることなく、様々の機能を視線入力により任意に設定可能にする。」として、ファインダ手段の視野内に具備される視線入力指標と、視線検出手段１４，１００，１０１，ＩＲＥＤ１〜６によって視線入力指標もしくはその近傍に観察者の視線があると検出された場合、指示される所定の機能を動作させる視線入力手段１００と、操作手段ＳＷ−ＯＰが操作された時に視線検出手段によって視線入力指標もしくはその近傍に観察者の視線があると検出された場合、この時の操作手段に対応する機能を所定の機能として前記視線入力手段に指示する機能指示手段１００とを設け、少なくとも一つの視線入力指標と操作手段によって、複数の中から何れかを動作させるべき所定の機能として指示するようにしている。

特許文献24は課題を、「観察者が特別な操作をすることなく、様々な観察対象物の動きや観察シーンに対しても、視線位置の情報によって制御される機能が適切に動作し、観察者の意志通りに機能させる。」として、光学装置の所定の動作を動作させる動作モードと視線位置の情報によって該光学装置の機能を制御する制御手段１００と、前記動作モードに応じて前記制御方法を変更する変更手段１００，１００ａとを設け、光学装置の動作モードに応じて視線位置の情報によって動作する機能の制御方法を変更できるようにしている。

特許文献25は課題を、「操作性が良く、省電化効果があり、しかも様々な機能を視線入力にて動作させることを可能にする。」として、ファインダ視野が消失している状態を検出する検出手段ＳＷ−ＭＩＲ，ＳＷ−ＥＹＥＳＨＵＴと、該検出手段にてファインダ視野が消失している事が検出された場合は、視線検出手段を機能させない禁止手段１００とを設け、ファインダ視野が消失している状態を検出した場合、視線検出手段を機能させないようにしている。

特許文献26は課題を、「視線入力が困難になった場合に行う再キャリブレーションを、簡易的なキャリブレーションで十分に対応可能とする視線検出装置を提供する。」として、この発明の視線検出装置は、再キャリブレーション指示を受けると、位置が既知である複数個の標準点のうちのいずれか１点でのキャリブレーションを行い、検出対象の眼球のある頭部の動きに起因する誤差を求め、この求めた誤差に基づいて視線検出結果の位置ずれを補正するずれ補正部２Ｃを備えている。これにより、複数個の標準点のうちのいずれか１点のキャリブレーションをやり直すだけで、現状に応じた適切な値の相関係数を求め直して視線検出結果の位置ずれを補正することができるので、従来に比べて、短時間で再キャリブレーションでき、使用者に快適な操作性を提供することができる。

上記の通りとしている。これらは入力装置に関する特許申請である。本願申請は、視線入力技術は、何らの方法にとらわれるものではない。

次に視線入力応用技術であるが、特許文献27から特許文献35がある。

特許文献27は課題を、「例えば視線入力装置を有するデジタルカメラにおいて、デジタル写真の画像の任意の位置に文字や記号を表示できるようにする。」として、デジタル写真画像に対する視線入力による文字等の可視化情報位置を視線入力・制御部１０４によって決定する。そして、可視化情報文字情報としてマイク１０８を介した音声入力・認識部１０７によって変換する。その変換された可視化情報文字情報をキー表示部１０３に表示する。これらの可視化情報を画像ファイルフォーマットに付加して記録制御部１０５を介して着脱可能な記録媒体１０６に記録する。

特許文献28は課題を、「指標を注視して行なう機能選択操作を容易に、かつ確実に行なうことができるようにすることを目的とする。」として、視線検出手段６により撮影者の視線Ｅを検出し、上記視線Ｅがファインダ画面上に表示された視線入力の指標の１つに、所定時間または所定の回数だけ駐留したときには、その指標の表示状態を指標表示状態制御手段３２の制御により変化させるようにすることにより、撮影者が自分の視線の注視状態を確認しながら注視による機能選択操作を行なうことができるようにして、撮影者の注視点座標と視線スイッチの座標とが正しく一致していること、および視線スイッチの機能が正しく働いていることを、撮影者に容易にかつ確実に撮影者に報知することができるようにするとともに、視点座標と視線スイッチの座標とが不用意に一致してしまうことにより生じる問題が未然に防止できるようにする。

特許文献29は目的を、「容易にＥＮＧカメラのスイッチ操作を視線により行なう。」として、照明手段１１は撮影者の眼球Ｅを照明し、その反射光は接眼レンズ１２、ダイクロイックミラー１３、集光レンズ１５を介して光電変換手段１６に受光され、撮影者の視線方向が検出される。一方、ＣＲＴ１４には撮影中の画面が表示されており、撮影者の視線方向に基づいてリターンスイッチを切り替えて、撮影画面とオンエア画面を切り替える。

特許文献30は課題を、「利用者が視線の検出結果を確認することができ、利用者が無駄な動作を何度も繰り返すなどの恐れをなくすことができる視線入力意思伝達装置を提供する。」として、視点位置データに基づき視線検出成功、視線検出失敗、瞬き中、同じ選択肢を選択しているなどの検出結果状況を判断し、その判断結果に応じて検出結果状況を表す検出結果情報を文字の選択枠の色を変えて利用者に通知する。

特許文献31は課題を、「踏みボタンを押すことができない重度身体障害者にとって容易に文字入力の意思決定を行うことができる視線入力意思伝達装置を提供する。」として、視線入力意思伝達装置では、ひらがなの５０音（あるいはカタカナ、アルファベット）の映像を表示コントローラ３１を経由してヘッドマウントディスプレイ内の液晶表示装置および外部モニタ１００９に表示する。利用者の視線位置を視線検出回路により検出し、検出された視線位置データを基に視線位置にある文字を算出する。そして、選択された文字の過去１００回分のデータを更新する。この新しい文字選択によって、文字入力の条件が満たされた場合、入力文字列への追加を行い、新しく入力された文字の音声出力を行って文字入力完了を利用者に知らせる。操作者はどのような格好であっても視線により文字入力を行なうことができる。

特許文献32は目的を、「視線検出の分解能による制約以上の、視線による情報入力を可能にすると共に、使い易くする。」として、複数のスイッチ手段それぞれの操作毎に、視線検出手段１０〜１３，２２により得られる視線情報に基づき、入力可能な情報の種類を異ならせる情報種類指定手段２２を設け、操作されるスイッチ手段毎に、視線によって入力可能な情報の種類を異ならせる、つまり例えば第１，第２のスイッチ手段を有している場合、第１のスイッチ手段の操作時には第１の情報（例えば測距領域）を入力可能とし、第２のスイッチ手段の操作時には第２の情報（例えばズーム情報）を入力可能としている。

特許文献33は課題を、「観察視野内における使用者の眼の回転角差を拡げ、視線検出の分解能を上げることなく、視線検出精度を向上させる。」として、観察視野内に、特定の領域を示す視標３３，３４と、該視標を注視することによって入力される情報を示す表示部３１，３０を、すなわち対応する、視標と表示部をそれぞれ独立して設けている。

特許文献34は課題を、「視線入力装置を携帯電話に組み込み、携帯電話には第三者の無断使用を防ぐセキュリティ機能を備え、使用環境の変化と使用者固有の癖や特徴による認識率の低下を防止する視線入力機能付携帯電話を提供する。」として、撮像光学手段１０１で撮影された画像の画像データを保存し、画像データから眼球位置及び瞳孔位置を検出する画像情報取得手段１０３と、画像情報取得手段により検出された瞳孔位置の移動を検出して使用者の視線の移動方向を検出する画像情報解析手段１０４と、検出された使用者の視線の移動方向にポインティングデバイスを移動させる制御手段１０５と、ポインティングデバイスに向けて行った意思決定を検出する意思決定検出手段１０６とを備えて構成された視線入力機能付携帯電話を提供する。

特許文献35は目的を、「入力部材の操作によるズーム駆動と視線入力によるズーム駆動の何れが行われたとしても、それぞれのズーム時の操作感を良好なものにする。」として、焦点距離を所望の位置まで移動させる為の入力部材１０，１１が操作された際のズームモータの駆動速度よりも、観察画面内に具備された、焦点距離をズーム端へ一気に移動させる事を指示する為の指標に観察者の視線が有ることが視線検出手段１，２により検出された場合のズームモータの駆動速度の方が、速くなるように制御する制御手段１を設けている。

上記の通りとしている。これらは視線入力応用技術に関する特許申請である。

本願申請のような視線入力装置を備えた市場調査用調査機器に関する先行発明はない。
特許公開平８−３２１９７３ 視線入力装置 特許公開平１１−２１２７１５ 視線入力装置 特許公開平１１−１８４６２２ 視線入力装置 特許公開平１１−１８４６２１ 視線入力装置 特許公開２００２−１４７６５ 視線入力装置 特許公開平６−２７４２６９ 視線入力装置 特許公開平１０−５１７８ 視線入力装置 特許公開平９−２１２０８２ 視線入力装置 特許公開平９−１８７７５ 視線入力装置 特許公開２０００−２５０６９９ 視線入力装置 特許公開２０００−２０１９６ 視線入力装置 特許公開平１１−２８２６１７ 視線入力装置 特許公開平１１−２５９２２５ 視線入力装置 特許公開平７−４９３６ 車両用視線入力装置 特許公開平１０−１６１８０１ 入力装置 特許公開平６−２８９９８５ 入力装置 特許公開平９−１１４５８１ コンピュータ視線入力装置 特許公開平９−２７６２２６ 眼光学装置及び視線入力装置 特許公開平１０−３９９９５ 視線・音声入力装置 特許公開平７−１９１７９６ 視線入力システム 特許公開平５−７６４９７ アイカメラ 特許公開平８−２６２３１３ 視線検出機能付き光学機器 特許公開平８−１４０９３８ 視線検出機能付光学装置 特許公開平９−５４２３９ 視線検出機能付光学装置及びカメラ 特許公開平９−４３６７９ 視線検出機能付光学装置及びカメラ 特許公開２００１−１３４３７１ 視線検出装置 特許公開２０００−３０７９１６ データ構造、データ記録装置及びデータ記録方法 特許公開平７−２８３９７４ 視線検出装置を備えたビデオカメラ 特許公開平７−３０３２００ 視線入力テレビカメラ 特許公開平１１−２５９２２６ 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体 特許公開平１１−７３２７４ 視線入力意思伝達装置、方法および記憶媒体 特許公開平９−４３４９９ 視線入力機能付き観察装置及びカメラ 特許公開平９−２１４８２５ 視線入力機能付き観察装置及び撮影装置 特許公開２００４−２１８７０ 視線入力機能付携帯電話 特許公開平９−９０１９５ 視線入力及びズーム機能付き光学装置 西内信之，柴田碧，高田一（1998）「画像処理による非接触視線検出法の研究」『日本機械学会論文集Ｃ編』64(620)1237-1243 吉池紀子,武藤佳恭「画像認識技術を用いたリハビリテーション支援システム開発」第4回21世紀リハビリテーション研究会,2000.8.5. Noriko Yoshiike, Yoshiyasu Takefuji, "Gesture recognition system using Elastic Net",Intelligent Processing and Manufacturing of Materials 2001.8.1.

今日ではマーケティングリサーチの一環として、観察法の一種でアイカメラを用いた商品陳列技術向上や、商品のラベルのあり方の改善に向けた調査が行なわれている。消費向上の為に、陳列方法の改善や商品のラベルのあり方を改善するなどのためにアイカメラを用いた消費者視線動向調査が行われてきた。

しかしこの調査は調査者が調査をしていることを自認した上での調査であり、「調査している」という意識が働き、１００％の客観性に基づくことは困難であった。

解決しようとする問題点は、調査者が調査をしていることを自認した上での調査が持つ限界を打破し、１００％の客観性をもった調査を可能にすることにある。

販売店内に於ける調査の自由度を高める事を目的とした本願視線入力装置を備えた市場調査用機器の利用により、１００％客観的調査が可能になる。その結果１００％客観的調査に基づいた陳列や商品デザインの策定は、特定商品の消費向上や、陳列位置による他商品との差別化を可能にするなど、大きな影響をもたらす。

本願申請において、視線入力技術は何らの方法にとらわれるものではないが、実施例では申請者が開発し公表した技術を用いている。

図１から図５に従い本特許の実施例を説明する。

本特許の構成は、図１に示す第一実施例は商品陳列棚（１）、の中の棚板（２）、と、棚板に設けたカメラ（３−１）（３−２）（３−３）（３−４）、と、画面分割用機器（４）、とコンピュータ（５）、コンピュータ（５）にインストールされた視線解析ソフトウエア（６）、と解析したデータを蓄積するデータベース（７）からなる。カメラ（３−１）（３−２）（３−３）（３−４）、画面分割用機器（４）とコンピュータ（５）は図示していないが、ケーブルでネットワークとして結ばれている。もちろん無線ネットワークでも良い。

商品陳列棚（１）は高さ約160ｃｍの高さ、120ｃｍの幅の通常の商品展示ケースであり、棚板（２）は商品展示ケースに設置された、ケースの大きさに対応した通常の棚板である。棚板（２）に載置された商品は夫々異なりＡからＷで表されている。カメラ（３−１）（３−２）（３−３）（３−４）は本実施例の場合ＣＣＤカメラであり、前記棚板に取り付けられている。カメラは人口網膜カメラや、赤外線カメラ、通常のビデオカメラなどどのようなカメラでも連続してデータを取れるものであれば何でも良い。カメラがあることを明確には認識できないような形態が望ましい。画面分割用機器（４）は、塚本無線 九分割ユニットを用いている。コンピュータ（５）は、マイクソフトウインドウズXPをOSに用いている。視線解析ソフトウエア（６）はMicrosoft
Visual C++で記述してあり、その特徴は以下の通りである。

非接触でカメラにより視線を検出し、取り込んだ画像から特徴点を抽出し、幾何学変換により視線の向きを検出する。検出技術は、画像の二値化による虹彩の位置検出および楕円近似による視線方向検出を行なう。

方法は、非特許文献１、日本機械学会論文集Ｃ編 ６４巻６２０号に詳しく述べてある。

視線検出のアルゴリズムを大きく二つに分け、一つめが目(視線)の向きを検出するもので、二つめが顔の向きを検出するものである。

視線注視点の検出：求めた顔の向きと黒目中心の位置から、視線への変換を行なう。

目の向きの検出方法：この方法では黒目中心を利用して視線を求める。黒目中心検出はカメラに近いほうの片目だけに行ないます。視線は黒目中心と眼球中心の相対位置により決める。黒目中心の検出法は検出された一部黒目像の境界(実線部)を楕円と考えて近次する。

顔の向きの検出：顔の向きを求めるのに、両目頭と鼻の穴の問を特徴点として画像処理で求め、その特徴点によって作られ、三角形から顔の向きを求める。

通常光が目に映り、その反射光は他の画素よりも高い輝度を有するので,映り込んだ光だけを検出できるような閾値で二値化することでその位置を容易に検出することができる。

鼻の検出：次に、鼻を検出するためのウインド40×30ドットを、目頭との位置関係から設定し、ウインド内で鼻の穴だけを検出できる閾値で二値化を行なう。そこで、二つの鼻の穴の最も近接する位置の中点を,鼻の特徴点とする。

三つの特徴点である両目頭と鼻より、顔の三角形を決定し、この視線解析ソフトウエアではこの三角形を含む平面から黒目中心の座標を求める。

以上本実施例の視線解析ソフトウエアを述べたが、特許文献に示すどのようなソフトを用いても良い。

データベース（７）はマイクロソフトアクセスを用いている。このデータベースソフトはファイルメーカーや、Ｅｘｃｅｌを直接利用するなどどのようなデータベースソフトを用いてもよい。

個人情報保護のため使用済み画像は画像データ消去（１００）として廃棄される。しかし、防犯目的の映像を保存することも出来、画像データ保存（２００）として表示してある。これは外部データ保存を示しているが、充分な要領を持つコンピュータであればコンピュータ（５）に保存することも可能である。同様にデータベース（７）はコンピュータ（５）に保存しているが、外部に保存しても良い。

視線を数値としてデータベースに蓄積するために図２に示す区分を領域として、１から４２番まで区分する。各番号の領域は認知すべき領域であり、カメラごとに任意の大きさに区分できる。本実施例では、カメラ（３−１）は４０ｃｍX９．２ｃｍになっており、カメラ（３−２）とカメラ（３−３）は４０ｃｍX１５ｃｍ、カメラ（３−４）は４０ｃｍX９．２ｃｍの領域で番号化されている。検知した視線は０．５秒の凝視ごとに、この番号を数値としてデータベース（７）に蓄積される。

本実施例においては４２の区分としたが、幾つに区分してもよい。本事例においては０.５秒を単位としたが、特に見つめることを求める商品については１秒や、２秒を視線検知の単位とすることも出来る。

図３と図４に示すそれぞれの種類のショーケース内のマネキンやショーケース、そしてショーケースやマネキンに取り付けたカメラの数は異なるが、画面分割用機器（４）、とコンピュータ（５）、にインストールされた視線解析ソフトウエア（６）、と解析したデータを蓄積するデータベース（７）は図1と同じ構成であり、記載を省略する。また視線を数値としてデータベースに蓄積するために図２に示す区分も同様であり、調査したい事項により定めればよい。

図５は接続された複数のカメラ（３−１）、（３−２）、（３−３）／（３−X）からのデータが、画面分割用機器で９分割の１画面になり、コンピュータの視線解析ソフトで解析され、図４のショーウインドーの上からAからWまでのどの商品を見ているか、すなわち領域番号で何番を見ているかを解析したのち、データベースに蓄積されるまでのデータの流れと、画面分割用機器（４）、とコンピュータ（５）、にインストールされた視線解析ソフトウエア（６）、と解析したデータを蓄積するデータベース（７）をあらわしている。

図３は実施例２を示している。図３のショーウインドー（２１）は通常のショーウインドーである。ショーウインドー枠（２２）はショーウインドーを囲む枠である。大きさは人間大のマネキンが配置できる大きさである。

マネキン（２３）の目にはカメラ（３−５）、（３−６）が取り付けられている。

マネキン（２３）に取り付けたカメラ（３−５）、（３−６）によってこのマネキン（２３）を見た人の視線を検知し、どこの位置を1番最初に見るか、どこを凝視するかを確認すことができる。
例えばこのマネキンに手提げバックを持たせ、手提げバックの色が赤の場合と手提げバックの色が青の場合などの違いを調べることができる。

マネキンの任意の位置にカメラを取り付けるのであるが、この実施例では目の位置に取り付けている。しかし外から見た時に見えなければ例えば、手の後ろに隠すとかわきの下の影とか任意の場所に取り付けて用いることができる。

図４は実施例３を示している。図４のショーウインドー（３１）は通常のショーウインドーである。ショーウインドー枠（３２）はショーウインドーを囲む枠である。このショーウインドーにマネキンを配置することが可能であるが、このショーウインドー（３１）はショーウインドー自身が評価用の器具となっている。

ショーウインドー（３１）の枠（３２）にはカメラ（３−７）からカメラ（３−１２）が６個取り付けられている。

カメラ（３−７）からカメラ（３−１２）の６個のデータは画面分割用機器（４）を経て各々9個に分割されたコンピュータ（５）の画面上に6個のデータとして現れる。本実施例は画面分割用機器（４）は9個に分割できるが、必要により何個に分割しても良い。任意のカメラの必要数を図５にカメラ（３−Ｘ）として表示した。

以上の構成により利用される視線入力装置を備えた市場調査用機器では、人気の高い商品はその位置、すなわち領域を示す数字（領域番号）が他より多くデータベースに蓄積されることになる。

そのため例えば同じような商品を全ての位置に並べ、どの棚が、どの位置が一番注目されるかも同様にして、調べることが出来る。

このようにして明らかになった注目される棚の特定の位置に置く商品を替える事により、商品ごとの包装ラベルの認知度などの人気や注目度も客観的に調査できるようになる。

１００％客観的調査に基づいた陳列や商品デザインの策定は、特定商品の消費向上や、陳列位置による他商品との差別化を可能にするなど、大きな影響をもたらす。

無意識の消費者行動の確認は、新商品開発、陳列方法や店舗設計に影響を与え、消費振興に寄与できる。

市場調査用機器の構成を示した説明図である。（実施例１） 第１の実施例の視線入力システムによる認知領域を示し、データベース化の可能性、手法を示した参考図である。 第２の実施例の利用用具とカメラ取り付け位置を示す参考図である。 第３の実施例の利用用具とカメラ取り付け位置を示す参考図である。 第１実施例の所要の利用用具とデータの流れを示す参考図である。本図はカメラ数を変更することにより他の実施例の所要の利用用具とデータの流れを示す参考図を兼ねる。

Claims (4)

1. 商品陳列ケースの任意の棚の任意の位置に取り付けた少なくとも１台のカメラと
   前記カメラの撮影したデータを同時に収集する画面分割用機器と
   前記画面分割用機器に収録された画面データを解析する視線認識ソフトと
   前記視線認識ソフトを用いてデータを解析するコンピュータと
   前記コンピュータで解析したデータを蓄積する任意のコンピュータを用いたデータベースからなる市場調査用機器
2. マネキンの任意の位置に取り付けた少なくとも１台のカメラと
   前記のカメラの撮影したデータを同時に収集する画面分割用機器と
   前記画面分割用機器に収録された画面データを解析する視線認識ソフトと
   前記視線認識ソフトを用いてデータを解析するコンピュータと
   前記コンピュータで解析したデータを蓄積する任意のコンピュータを用いたデータベースからなる市場調査用機器
3. ショーウインドーの任意の位置に取り付けた少なくとも１台のカメラと
   前記のカメラの撮影したデータを同時に収集する画面分割用機器と
   前記画面分割用機器に収録された画面データを解析する視線認識ソフトと
   前記視線認識ソフトを用いてデータを解析するコンピュータと
   前記コンピュータで解析したデータを蓄積する任意のコンピュータを用いたデータベースからなる市場調査用機器
4. 請求項１と２と３に記載の市場調査用機器で収集した画像を利用した市場調査用機器兼用万引き防止監視システム
   

Images