JP2020106552A

JP2020106552A - 被写体認識装置

Info

Publication number: JP2020106552A
Application number: JP2018241892A
Authority: JP
Inventors: 武志内田; Takeshi Uchida
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2020-07-09

Abstract

【課題】視線検出装置を有する撮像装置において、視線位置のずれがあった場合でも機会を逃さずに撮影する事を可能としつつ、注視位置のキャリブレーション動作を自動的に行い、撮影者の利便性の向上を図ること。【解決手段】撮像素子と、表示素子と、眼球用撮像素子と、該眼球用撮像素子から得られる眼球画像より、前記表示素子上において使用者の注視する箇所を推定する注視点位置推定手段と、前記注視点位置推定手段により推定された注視点位置を示す指標を、前記表示素子上に表示する注視点位置表示手段と、前記表示素子上に表示された注視点位置を示す指標の位置を、使用者が手動で変更することを可能とする手動操作手段と、を有し、前記手動操作手段による指標の位置変更があった場合において、その際に撮影された眼球画像と前記手動操作手段による指標位置の変更量を用いて、前記注視点推定手段のパラメータの修正を行う。【選択図】図９

Description

本発明は、視線検出装置を有する撮像装置に関する。

近年、カメラの自動化・インテリジェント化が進み、特許文献１に示されるように、手動で被写体位置を入力せずとも、ファインダを覗く撮影者の視線位置の情報に基づいて撮影者が意図する被写体を認識し、焦点制御を行うことを可能とするカメラ制御装置が提案されている。また、カメラが上記のように撮影者の視線位置を検出する際に、撮影者の意図した視線位置とカメラが認識する撮影者の視線位置の間にズレが生じ、撮影者の意図する被写体に焦点を合わせることができない場合がある。

これに対し、上記の特許文献１においては、撮影前にファインダ内に指標を表示し、ユーザーにその指標を注視するよう指示を出し、その注視状態において、ユーザーの視線位置を検出し、該指標位置とのずれ量を検出する作業を行う。その検出されたずれ量だけ、撮影時にカメラが認識する撮影者の視線検出位置を補正することで、よりユーザーの意図どおりの視線位置を検出することを可能とするキャリブレーション技術が記載されている。

また、特許文献２においては、携帯型端末の起動時におけるロック解除動作を、所定の場所を所定の順に見るとロックが解除されるといった形で、視線検出を用いてユーザーに行わせている。その動作の際にユーザーが所定の箇所を見るという特性を利用して、その箇所をユーザーが実際に見ている正しい視線位置として、カメラが推定する視線位置とのずれ量を検知して、視線検出位置の補正をロック解除動作と同時に行っている。これによってキャリブレーションにかかるユーザーの負担を軽減している。

特開２００４−８３２３号公報特開２０１５−１５３３０２号公報

特許文献１においては、撮影者の意図する注視点位置とカメラが検出する注視点位置にずれがある場合に、キャリブレーションによってその補正を行っている。しかし、明るさ等の周囲の環境や撮影者の体勢等が変わると、カメラが検出する注視点位置が変化するため、状況が変わるたびに頻繁にキャリブレーション作業を行わねばならず、煩雑となる問題がある。

特許文献２においては、携帯端末の起動時のロック解除動作を行う際に同時にキャリブレーションを行っている。しかし、ロック解除動作の際の複数の注視箇所を、ユーザーがいつ注視するかといったタイミングが不明であり、確実に見ている瞬間を特定することが難しい。また、撮像装置においては動く被写体の撮影等の場合に、機会を逃さずに撮影を行う必要があるため、視線位置のずれがあった場合に、撮影を中断してロック解除画面やキャリブレーション画面まで戻って調整をやり直す構成では利便性がよくない問題がある。

本発明は上記課題に鑑みてなされたものであり、視線検出装置を有する撮像装置において、視線位置のずれがあった場合でも機会を逃さずに撮影する事を可能としつつ、注視位置のキャリブレーション動作を自動的に行い、撮影者の利便性を向上する事を目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
撮像素子と、
表示素子と、
眼球用撮像素子と、
該眼球用撮像素子から得られる眼球画像より、前記表示素子上において使用者の注視する箇所を推定する注視点位置推定手段と、
前記注視点位置推定手段により推定された注視点位置を示す指標を、前記表示素子上に表示する注視点位置表示手段と、
前記表示素子上に表示された注視点位置を示す指標の位置を、使用者が手動で変更することを可能とする手動操作手段と、
を有し、前記手動操作手段による指標の位置変更があった場合において、その際に撮影された眼球画像と前記手動操作手段による指標位置の変更量を用いて、前記注視点推定手段のパラメータの修正を行うことを特徴とする。

本発明によれば、視線検出装置を有する撮像装置において、視線位置のずれがあった場合でも機会を逃さずに撮影する事を可能としつつ、注視位置のキャリブレーション動作を自動的に行い、撮影者の利便性を向上する事ができる。

本発明の第１実施形態が適用される撮像装置の構成概略図本発明の第１実施形態における撮像装置の外観概略図本発明の第１実施形態が適用される撮像装置のブロック図本発明の第１実施形態におけるファインダ内視野を示す説明図本発明の第１実施形態における視線検出方法の原理説明図眼球用撮像素子１７に投影される眼球像の概略図視線検出の概略フロールーチン注視点位置微調整動作説明図本発明の第１実施形態における撮影動作・自動キャリブレーション動作のフロー入力された２次元画像データから注視点位置を推定するＣＮＮの基本的な構成を示す説明図。特徴検出細胞面での特徴検出処理、および特徴統合細胞面での特徴統合処理の詳細説明図

以下、本発明を実施するための形態について、図面を参照しながら説明する。

＜構成の説明＞
図２は本発明におけるデジタルスチルカメラ１の外観を示している。図２（ａ）は正面斜視図、図２（ｂ）は背面斜視図である。

デジタルスチルカメラ１は本実施例においては、図２（ａ）の正面斜視図に示すように、撮影レンズ１Ａ及びカメラ本体の筐体部１Ｂで構成されている。また、ユーザーからの撮像操作を受ける操作部材であるレリーズボタン５が配置されている。また、図２（ｂ）の背面斜視図で示すように、デジタルスチルカメラ１の背面には、カメラ内部に含まれる後述する表示素子を、ユーザーが覗きこむための接眼レンズ１２が配置されている。また、４１〜４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）といった、後述するカメラ操作に使用する各種操作部材が配置されているとする。

図１は図２（ａ）で図示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体を切った断面図であり、本発明におけるデジタルスチルカメラ１の構成の概略を示した説明図である。図１及び図２において、対応する部位は同じ番号で表記されている。

図１において、１Ａはレンズ交換式カメラにおける撮影レンズを示す。本実施形態では便宜上撮影レンズ１Ａの内部を１０１、１０２の二枚のレンズで表したが、実際はさらに多数のレンズで構成されていることは周知の通りである。１Ｂはカメラ本体の筐体部を示し、その内部に含まれるユニットの構成は以下のようになる。２は撮像素子で、デジタルスチルカメラ１の撮影レンズ１Ａの予定結像面に配置されている。デジタルスチルカメラ１には、カメラ全体を制御するＣＰＵ３、撮像素子２にて撮像された画像を記録するメモリ部４が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子１０と、それを駆動する表示素子駆動回路１１、表示素子１０に表示された被写体像を観察するための接眼レンズ１２が配置されている。上記撮像素子２及び表示素子１０は請求項１における撮像素子及び表示素子に相当する。

１３ａ〜１３ｂは、従来より一眼レフカメラ等に用いられている光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための撮影者の眼球１４を照明するための光源で、赤外発光ダイオードからなり、接眼レンズ１２の周りに配置されている。照明された眼球像と光源１３ａ〜１３ｂの角膜反射による像は接眼レンズ１２を透過し、光分割器１５で反射され、受光レンズ１６によってＣＣＤ棟の光電素子列を２次元的に配した眼球用撮像素子１７上に結像される。受光レンズ１６は撮影者の眼球１４の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。眼球用撮像素子１７上に結像された眼球と光源１３ａ〜１３ｂの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。上記眼球用撮像素子は、請求項１における眼球用撮像素子に相当する。

１１１は撮影レンズ１内に設けた絞り、１１２は絞り駆動装置、１１３はレンズ駆動用モーター、１１４は駆動ギヤ等からなるレンズ駆動部材、１１５はフォトカプラーでレンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、レンズ焦点調節回路１１８に伝えている。焦点調節回路１１８は、この情報とカメラ側からのレンズ駆動量の情報にもとづいてレンズ駆動用モーター１１３を所定量駆動させ、撮影レンズ１ａを合焦点位置に移動させるようになっている。１１７は公知のカメラとレンズとのインターフェイスとなるマウント接点である。

また、前述した４１〜４３で示す操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）の操作部材が配置され、後述の推定注視点枠位置の手動操作による移動制御等が行われる。

図３は前期構成のデジタルスチルカメラに内蔵された電気的構成を示すブロック図であり、図１と同一のものは同一番号をつけている。

カメラ本体に内蔵されたマイクロコンピュータの中央処理装置３（以下、ＣＰＵ３と呼ぶ）には視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示素子駆動回路１１、照明光源駆動回路２０５が接続されている。また、撮影レンズ内に配置された焦点調節回路１１８、前述の絞り駆動装置１１２に含まれる絞り制御回路２０６とは図１で示したマウント接点１１７を介して信号の伝達がなされる。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼球用撮像素子１７からの撮像信号の記憶機能及び、後述する視線の個人差を補正する視線補正データの記憶機能を有している。

視線検出回路２０１は、眼球用撮像素子１７（ＣＣＤ−ＥＹＥ）からの眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ３に送信する。ＣＰＵ３は視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。

測光回路２０２は、測光センサの役割も兼ねる撮像素子２から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、Ａ／Ｄ変換し、被写界輝度情報として、ＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２におけるＣＣＤの中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施例では、一例として、図４のファインダ内視野像で示した箇所に対応する撮像面上の位置に１８０か所の焦点検出ポイントがあるとする。

信号入力回路２０４には不図示のレリーズボタン５の第一ストロークでＯＮし、カメラの測光、測距、視線検出動作等を開始するためのスイッチであるＳＷ_１と、レリーズボタンの第二ストロークでＯＮし、レリーズ動作を開始するためのスイッチであるＳＷ２が接続される。前記の信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。

また、前述した４１〜４３で示す操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）は、ＣＰＵ３にその操作信号が伝わる構成となっており、それに応じて後述する推定注視点枠位置の移動操作制御等が行われる。

図４はファインダ視野内を示した図で、表示素子１０が動作した状態を示す。

図４において、３００は視野マスク、４００は焦点検出領域、４００１〜４１８０は表示素子１０に示されるスルー画像に、前記撮像面上における複数の焦点検出ポイントに対応する位置に重ねて表示した１８０個の測距点視標を示す。また、それらの指標の内、現在の推定注視点位置に対応する指標を図における推定注視点Ａのように枠を出現させた表示を行う。上記推定注視点位置に枠を表示させる事は請求項１における、前記注視点位置推定手段により推定された注視点位置を示す指標を、前記表示素子上に表示する事に相当する。また、ＣＰＵ３が表示素子１０対して信号を送り、上記推定注視点位置に枠を表示させる構成は、請求項１における注視点位置表示手段に相当する。

図５は視線検出方法の原理説明図であり、前述の図１の視線検出をおこなうための光学系の要約図に相当する。

図５において、１３ａ、１３ｂは観察者に対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ１６の光軸に対して略対称に配置され観察者の眼球１４を照らしている。眼球１４で反射した照明光の一部は受光レンズ１６によって、眼球用撮像素子１７に集光する。

図６（Ａ）は眼球用撮像素子１７に投影される眼球像の概略図、同図（Ｂ）は眼球用撮像素子１７におけるＣＣＤの出力強度図である。図７は視線検出の概略フロールーチンを表している。

以下、図５〜７を用いて、視線の検出手段を説明する。

＜視線検出動作の説明＞
図７において、視線検出ルーチンが開始すると、Ｓ００１において、光源１３ａ、１３ｂは観察者の眼球１４に向けて赤外光を放射する。上記赤外光によって照明された観察者の眼球像は、眼球用撮像素子１７上に受光レンズ１６を通して結像し、眼球用撮像素子１７により光電変換がなされ、眼球像は電気信号として処理が可能となる。

ステップＳ００２において上記のように眼球用撮像素子１７から得られた眼球画像信号をＣＰＵ３に送る。ステップＳ００３では、Ｓ００２において得られた眼球画像信号の情報から、図５に示す光源１３ａ、１３ｂの角膜反射像Ｐｄ，Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。光源１３ａ、１３ｂより放射された赤外光は観察者の眼球１４の角膜１４２を照明し、このとき角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光され、眼球用撮像素子１７上に結像する（図示の点Ｐｄ’，Ｐｅ’）。

同様に瞳孔１４１の端部ａ、ｂからの光束も眼球用撮像素子１７上に結像する。図６では、図６（ａ）において眼球用撮像素子１７から得られる反射像の画像例を、図６（ｂ）に上記画像例の領域αにおける、眼球用撮像素子１７から得られる輝度情報例を示す。図示のように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔１４ｂの端部ａ、ｂからの光束が結像した像ａ’，ｂ’のＸ軸方向の座標をＸａ、Ｘｂとする。（ｂ）の輝度情報例において、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。

瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１４１の外側の光彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端の像ａ’，ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。

また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１３ａ、１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができた。

さらに、ステップＳ００４では、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ−Ｘｅ）の関数として求めることができる。

また、ステップＳ００５では、角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致するため、角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ−Ｘ平面内の回転角θ_Ｘは、
β＊Ｏｃ＊ＳＩＮθ_Ｘ≒｛（Ｘｄ＋Ｘｅ）／２｝−Ｘｃ
の関係式から求めることができる。

また、図５、図６においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θ_Ｘを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

前ステップにおいて観察者の眼球１４の光軸の回転角θｘ、θｙが算出されると、ステップＳ００６では、θｘ、θｙを用いて、表示素子１０上で観察者の視線の位置（注視している点の位置。以下、注視点と称する。）を求める。注視点位置を表示素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）
と算出することができる。

この時、係数ｍはカメラのファインダ光学系の構成で定まる定数で、回転角θｘ、θｙを表示素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ部４に記憶されているとする。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは観察者の視線の個人差を補正する視線補正係数であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部４に記憶されているものとする。

上記のように表示素子１０上での瞳孔１４１の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、ステップＳ００７においてメモリ部４に上記座標を記憶して、視線検出ルーチンを終える。

上記は光源１３ａ、１３ｂの角膜反射像を利用した表示素子上での注視点座標取得手法を示したが、それに限られるものではなく、撮像された眼球画像から眼球回転角度を取得する手法であれば本発明は適用可能である。

後述する実施例２においては眼球画像からＣＮＮを用いてユーザーの表示素１０上での注視位置を検出する場合の構成を示す。

上記視線検出ルーチンが、請求項１における注視点位置推定手段に相当する。

＜キャリブレーション作業について＞
前述のように、視線検出ルーチンにおいて眼球画像から眼球の回転角度θｘ、θｙを取得し、瞳孔中心位置を表示素子１０上において対応する位置に座標変換する演算を行って注視点位置を推定している。

しかし、人間の眼球の形状の個人差等の要因により、前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙの値を使用者によって適切な値に調整しなければ図４（ｂ）に示したように、使用者が実際に注視している位置Ｂと演算された推定注視点Ｃの位置にずれが生じてしまう。上記例では位置Ｂの人物に注視したいのに、背景が注視されているとカメラ側が誤って推定しており、適切な焦点検出及び調整ができない状態に陥ってしまっている。

そこで、カメラによって撮像を行う前に、キャリブレーション作業を行い、使用者に適切な補正係数の値を取得し、カメラに記憶させる必要がある。

従来、キャリブレーション作業は、撮像前にファインダ視野内に図４（ｃ）のような位置の異なる複数の指標を強調表示し、観察者にその指標を見てもらうことで行う。各視標注視時に注視点検出フローを行い、算出された複数の推定注視点座標と各視標座標の位置から適切な前記係数の値を求める作業を行うことが公知の技術として知られている。しかしながら、明るさ等の周囲の環境や撮影者の体勢等が変わると、カメラが検出する注視点位置が変化するため、状況が変わるたびに撮像を中止して頻繁にキャリブレーション作業を行わねば精度を維持できず、煩雑となる問題があった。そのため、ユーザーの撮像動作を妨げることがなく、自動的にキャリブレーションが行われて精度を確保するシステムが求められる。

＜自動キャリブレーションシステム＞
上記課題を解決するために、本発明においては、撮影動作にキャリブレーション作業を組み込み、自動的にキャリブレーションを行うことで、撮像を中止する必要がなく、ユーザーの利便性を向上させる構成をとっており、その原理を以下に説明する。

キャリブレーション作業において、第一に必要となる事項は、ユーザーが実際に表示素子１０上のどの箇所を注視しているかを特定することにある。従来は前述したように図３（ｃ）のように表示素子１０上に見るべき指標を示し、ユーザーにその指標を注視する動作を行わせることで注視箇所を特定しているが、当然ながら、その間はユーザー撮像動作を行うことができないという問題がある。キャリブレーション動作を行うたびに撮影を中断する構成ではユーザーの利便性がよくない。

故に、望ましくは、ユーザーの自然な撮影動作中にユーザーが実際に注視している点を特定できるタイミングがあれば、それを利用して眼球画像からの推定注視点と実際の注視点との座標の差異を検出し、その差異からキャリブレーションを行うことが求められる。

前記ユーザーの撮影動作中にユーザーが実際に注視している点を特定する作業を、本発明においては、ユーザーによる現在の注視点の手動微調整動作を利用して行うものとする。

本発明の撮像装置においては、現在の推定注視点位置と実際に自分が見ている注視点位置に差異がある場合、撮像装置に含まれる操作部材を手動操作することにより、その操作量に応じて注視点位置を変更できる構成であるとする。

図８（ａ）〜（ｃ）を用いて上記構成の説明を行う。まず、ユーザーはファインダを覗きこんだ状態で図８（ａ）のような、表示部１０に表示された撮像素子からのスルー画像とそれに重畳して表示された推定注視点位置Ｃを表す枠が見えているとする。この時ユーザーは、自身が見ている実際の注視点位置Ｂと表示された推定注視点位置Ｃの位置に差異があると見た場合、ファインダを覗きこんだ姿勢のまま、図８（ｃ）の様にカメラ背面の液晶部材を指で注視点位置を修正したい方向になぞる等の手動操作を行うとする。その結果、その操作方向・操作量に対応して図８（ｂ）のように推定注視点位置が元の位置Ｃから微調整後の位置Ｃ’に移動して、注視点位置の微修正を行うことができるものとする。

上記手動微調整機能により、ユーザーは撮影動作を中断して時間のかかるキャリブレーション作業を行わず、撮影チャンスを逃さずに注視点位置の微修正を行うことができ、利便性が向上する。この動作は請求項１における、表示素子上に表示された注視点位置を示す指標の位置を、使用者が手動で変更することに相当する。

また、本発明の最も肝要な点は、上記動作をユーザーが行ったことをカメラが検知すると、次の事項が判明することにある。第一に現在の注視点推定位置が間違っていることが分かり、また、第二に図８（ｂ）に示すようにそのずれ量とずれ方向のベクトル（ΔＵとする）が、ユーザー自身が行う微調整動作から判明する。そして、微調整動作後の位置Ｃ’が、この時ユーザーが実際に見ていた注視点の正確な位置となる。

よって、本実施例において、カメラはユーザーが上記微修正動作を行った場合、それを受けて、第一に現在の注視点推定位置は間違っている事を認識し、前記の注視点計算のための補正パラメータ等を修正する必要があると判断できる。そして、第二に前記微修正動作の操作方向・操作量から得られた、ユーザーが見ている注視点位置と推定注視点位置の差異ベクトルΔＵのデータを用いて再キャリブレーションが行われ、自動的に補正パラメータの修正が実行される。これらの一連の動作により、前記自動キャリブレーションを実現できたこととなる。

また、今回は一例として、図８（ｃ）に示すようにカメラ背面における液晶部（４１操作部材α）を親指で操作する例を挙げた。しかし、それに限定されるものではなく、背面にレバー状の操作部材があり、レバーを倒した方向に操作できる、又はボタン式の十字キー等があり、押下回数に応じて移動できる、などの構成でもよく、操作方向・操作量に応じて微修正動作を実現できればよい。

図２（ｂ）のカメラ背面部の斜視図において４２操作部材βとしてレバー式の操作部材の例を示している。図２（ｃ）はその拡大図兼操作の様子を示す図であり、レバーを左右等に倒して操作を行うものとする。レバーを倒した方向に、倒した状態で維持した時間に比例して表示素子１０上に表示された枠の移動等がＣＰＵ３を介して行われるものとする。また、図２（ｂ）において４３操作部材γとしてボタン式の十字キーの例を示す。動かしたい上下左右の方向のボタンを押すことで、押下回数に応じて枠の移動等が行われるものとする。これらの操作部材は、請求項１における表示素子上に表示された注視点位置を示す指標の位置を、使用者が手動で変更することを可能とする手動操作手段に相当する。

＜操作部材の差によるキャリブレーションの重みつけの差異の設定＞
ここで、前記微修正動作における操作部材として、例として挙げたカメラ背面に位置する前記操作部材は大別して２種に分類される。

まず、第１種目はボタン部材等で構成され、その押下回数やクリック回数等によってカーソル（枠）の移動を行う部材である。その特徴として、１回押すとカーソル（枠）が測距点１個分移動、２回押したら２個分移動といったように、１回、２回といった段階的な操作によってカーソル移動が段階的に行われることがある。前記例では４３操作部材γとして示した、ボタン式十字キーに相当する。また、こういった操作部材は請求項２における、段階的な調整手段に相当する。

これに対し、第２種目は、カメラ背面部における液晶部を親指で任意の方向になぞる操作をすることによって、その操作方向・操作量に対応した量だけカーソルの移動を行う事例に代表される操作部材である。この特徴として、ユーザーはわかりやすい１回、２回といった段階的な操作回数でなく、親指がなぞる量といった無段階の尺度で量を操作することにある。この時、ユーザーは親指の操作量に対するカーソルの移動量が、ボタン部材のように１回押したら１つ移動といったように、直感的にわからないため、移動するカーソルを目で注視して移動量を確認しながら操作する必要が出てくる。この種の操作部材の例としては前記４１操作部材α（タッチパネル対応液晶）をなぞって操作する例や、前記４２操作部材β（レバー式操作部材）を倒してその倒した方向、倒している時間によってカーソル移動を操作する事例がこれに相当する。また、これらの操作部材は請求項２における無段階の調整手段に相当する。

ここで、本発明で肝要な点として、後者の無段階操作部材は操作量に対してカーソル移動量が直感的にわからないために常に注視している必要があり、つまりこの操作部材を使用した際には、ユーザーがカーソルを実際に注視している信憑性が高いと言えることがある。

これに対し前者の段階的な操作部材はクリック回数等によってカーソル移動量が直感的にわかりやすい。そのため、ユーザーは図８（ａ）のように測距点２つ分ずれていることが分かっている場合、微修正動作の際にはカーソルを注視せずに回数で判断して２回クリックして調整動作を済ませる可能性がある。

つまり操作部材の種類によってユーザーが微調整動作時に実際に該当部を注視しているか否かの信憑性に差が生じると言える。

これらを加味すると、無段階の操作部材と段階的な操作部材を双方含む図２（ｂ）のような撮像装置の場合、ユーザーがカーソルを注視している可能性の高い、無段階操作部材の操作時のキャリブレーションデータの有効性が、段階的操作部材のデータより高いと言える。

そこで、本発明ではこれらの操作部材の違いにおける有効性の差を、それまでに行ってきた複数のキャリブレーションデータを集計して補正係数等を再計算する際に、重みつけの形で反映させてキャリブレーション結果に取り入れるものとする。

具体的には一例として下記のような計算を行って実現する。前述の、検出された眼球のＸ方向の回転角θｘから補正係数Ａｘ，Ｂｘを使用して、表示素子１０上での推定注視点のＸ座標Ｈｘを算出する
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）
の計算に対し、微調整動作から判明した、ユーザーが実際に見ている注視点のＸ座標をＨｘ’とする。

また、キャリブレーションはそれまでに行われたキャリブレーションデータに今回の微調整動作で得られたデータを追加して行われるものとする。

これまでのものと今回得られたものを含めてｎ回分（ｎは２以上の整数）の、推定注視点座標Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）と、実際にユーザーが見ていた注視点座標Ｈｘ’のセットがあったとする。

この時、これらのデータに対応して最適の上記Ａｘ，Ｂｘの値を算出する方法の一例として、下記のように重み付き最小二乗法を用いるとする。

ここで、ｎ回分の推定注視点座標測定時の眼球回転角度をθｘ１、θｘ２、θｘ３、・・・、θｘｉ、・・・、θｘｎ、それを用いて計算された推定注視点座標をＨｘ１、Ｈｘ２、Ｈｘ３、・・・・、Ｈｘｉ、・・・Ｈｘｎとする。また、同様にｎ回分の実際の注視点座標をＨｘ１’、Ｈｘ２’、Ｈｘ３’、・・・・、Ｈｘｉ’、・・・Ｈｘｎ’とする。

この時、重み付き最小二乗法による最適化は、重みつけ係数ｗによって表された次の誤差ｓを用いて行われる
ｓ＝Σ_{ｉ＝１〜ｎ}ｗ×｛Ｈｘｉ’−Ｈｘｉ｝^２
＝Σ_{ｉ＝１〜ｎ}ｗ×｛Ｈｘｉ’−ｍ×（Ａｘ×θｘｉ＋Ｂｘ）｝^２
上記の重み付き２乗誤差ｓが最小となるようにＡｘ，Ｂｘを再計算して更新すればよい。この際に、本発明の肝要な点として、操作部材によって重みつけ係数ｗの値を異ならせるとする。

段階的操作部材を用いた際の重みつけ係数をｗ１として、無段階操作部材を用いた際の重みつけ係数をｗ２として、この時、ｗ２＞ｗ１であるとする。

この重みつけ係数の値の相対的な大きさの差により、無段階操作部材を用いた場合のデータの影響を、段階的操作部材を用いた際のデータの影響より大きく反映させることができる。

上記微調整動作があった場合に注視点位置の推定手段におけるパラメータの修正を行う再キャリブレーション動作は、請求項１における眼球画像と前記手動操作手段による指標位置の変更量を用いて、前記注視点推定手段のパラメータの修正を行うことに相当する。

また、上記の重みつけ係数の設定は、請求項２における無段階の調整手段を用いた場合のデータのパラメータの修正への影響度が、段階的な調整手段を用いた場合のデータのパラメータの修正への影響度より大きくなるように重みづけが設定されていることに相当する。

上記によって操作部材の差異によるデータの有効性の差異をキャリブレーションに反映させることができ、より精度の高いキャリブレーションが可能となり、注視点推測精度が向上し、ユーザーの利便性を向上させることができた。

＜視線検出機能及び自動キャリブレーション機能を有したカメラの動作＞
これまでに原理を説明した、本実施例における視線検出機能及び自動キャリブレーション機能を有したカメラの動作について、図９のフローチャートに従って説明する。

カメラ電源がＯＮされてフローが開始されると、ステップＳ１０１において、撮像素子２がスルー画像を取得開始し、画像信号をＣＰＵ３に送信し、ＣＰＵ３は取得したスルー画像を表示素子１０に表示する。ユーザーはファインダ内の表示素子１０に表示されたスルー画像を見ることで被写体の視認を行う。表示素子１０は請求項１における表示手段に相当する。

ステップＳ１０２では、電源がＯＦＦされたか否かを判定し、ＯＦＦされていればフローは終了し、ＯＦＦされていなければ、ステップＳ１０３に進む。

ステップＳ１０３では、ステップＳ１０１で被写体を視認し始めたユーザーの眼球画像の取得を開始し、前述の視線検出ルーチンを実施する。本実施例では、前述の図７で示した視線検出ルーチンを使用することで、表示素子１０上での推定注視点位置座標（Ｈｘ，Ｈｙ）を取得するとする。

ステップＳ１０４においては、表示素子１０に、前記スルー画像に前ステップで得られた推定注視点座標位置に枠を重畳させた画像を表示する。この時ユーザーには、ファインダ内に、前述の図４（ｂ）のような画像が見えており、スルー画像に枠を重ねて表示させて現在の推定注視点位置Ｃがユーザーに伝えられている。

ステップＳ１０５においては所定時間の待機を行う。ステップＳ１０６においては、ユーザーからの微調整動作があったか否かを判定する。微調整動作が行われていればステップＳ１１０に進み、微調整動作が無ければステップＳ２００に進む。微調整動作は図８（ｃ）で前述したように、カメラ背面の４１操作部材α〜４３操作部材γ等を用いて行われ、枠位置が実際の注視点位置までユーザーの手動操作によって移動される。

微調整動作が行われた場合のステップＳ１１０においては、微調整動作の操作方向・操作量に応じて、表示素子１０上に表示している前記枠位置を移動させて表示し、ステップＳ１１１に進む。図８（ｂ）に微調整動作に応じて枠をベクトルΔＵだけ移動させた例を示す。

ステップＳ１１１においては、微調整動作の操作方向・操作量から計算したユーザーの実際の注視点位置及び、その実際の注視点位置と元の推定注視点位置とのずれ方向・量を示す前述のベクトルΔＵをメモリ４に記録する。

ステップＳ１１２においては、微調整動作の入力に使用された操作部材が無段階操作部材か、段階的操作部材かの判定を行う。前述のように無段階操作部材は例として、図２（ｂ）に示す４１操作部材α（タッチパネル対応液晶）や４２操作部材β（レバー式操作部材）等が挙げられる。無段階操作部材であればステップＳ１２１へ、無段階操作部材でなければステップＳ１２２へ進む。

微調整動作に無段階操作部材が使われた場合のステップＳ１２１においては、重みつけ係数をｗ２と設定して、その重みつけ係数をステップＳ１１１において記録した実際の注視点位置及びベクトルΔＵに関連付けてメモリ部４に記録する。

微調整動作に無段階操作部材が使われなかった場合のステップＳ１２１においては、重みつけ係数をｗ１と設定してその重みつけ係数をステップＳ１１１において記録した注視点位置及びベクトルΔＵに関連付けてメモリ部４に記録する。

この時、重みつけ係数ｗ１、ｗ２はｗ２＞ｗ１の関係にあり、無段階操作部材が使われた場合のデータが、前述のキャリブレーションにおいて無段階操作部材が使われなかった場合のデータが及ぼす影響より大きく設定されているとする。重みつけ係数ｗ１、ｗ２の設定は一例であり、無段階操作部材が使われた場合のデータが、キャリブレーションにおいて無段階操作部材が使われなかった場合のデータが及ぼす影響より大きく設定されていれば本発明は適用できるとする。

ステップＳ１３０においては、ステップＳ１１１，ステップＳ１２１ｏｒステップＳ１２２でメモリ部に記録された注視点位置、ずれベクトルΔＵ、重みつけ係数を用いて再びキャリブレーションを行って補正係数を再算出して、ステップＳ１３１に進む。再算出による補正係数の最適化は、一例として前述したような重み付き最小二乗法を使用する。

ステップＳ１３１においては、前ステップで再算出されて更新された補正係数データをメモリ部４に記録し、ステップＳ２００に進む。

ステップＳ２００においては、ユーザーによってレリーズボタン５が押されてＳＷ１がＯＮであるか否かを判定する。ユーザーは表示素子１０上に表示された推定注視点の枠の位置で合焦を行うことに同意した場合にレリーズボタンを押し、ＳＷ１をＯＮにすることとなる。ＯＮであればステップＳ２０１に進み、ＯＮでなければステップＳ１０３に戻り、注視点位置の再取得を行う。

ステップＳ２０１においては、現在の表示枠位置において測距動作を行い、測距動作が行われたことを表示素子１０上のスルー画像上で枠の色を変える等の強調表示を行ってユーザーに知らせ、ステップＳ２０２に進む。

ステップＳ２０２においては、ステップＳ２０１で取得された測距結果に対応する合焦点位置へレンズ群を移動し、ステップＳ２０３に進む。

ステップＳ２０３ではレリーズボタンがさらに押しこまれ、ＳＷ２がＯＮになったか否かを判定する。ユーザーは現在の合焦位置で撮影を行うことを同意した場合にＳＷ２をＯＮにすることとなる。ＳＷ２がＯＮであればステップＳ２０４に進み、ＯＮになっていない場合はステップＳ２００に戻り、同じ位置で測距・表示をやり直す。

ステップＳ２０４においては撮像動作が行われ、撮像素子２において画像信号が取得され、ＣＰＵ３に送信され、メモリ部４に記憶される。その後、ステップＳ２０５に進み、取得画像を所定時間表示した上でステップＳ１０２に戻る。

上記構成により、視線検出装置を有する撮像装置において、視線位置のずれがあった場合でも機会を逃さずに撮影する事を可能としつつ、注視位置のキャリブレーション動作を自動的に行い、撮影者の利便性を向上する事ができた。

前述の実施例１においては、眼球画像を取得した後の注視点位置推定は図６の原理図及び図７に示した視線検出ルーチンのように、Ｘ方向の眼球回転角θｘを、瞳孔中心のＸ座標をＸｃ、Ｐ像のＸ座標をＸｄ，Ｘｅ、像倍率をβとした際に
β＊Ｏｃ＊ＳＩＮθ_Ｘ≒｛（Ｘｄ＋Ｘｅ）／２｝−Ｘｃ
の式を満たすもの仮定して、瞳孔座標、Ｐ像座標を検出した上で計算を行っていた。しかし、それに限られるものではなく、眼球画像から注視点を推測できる手法であれば本発明は適用可能である。

本実施例においては眼球画像を取得した後の注視点位置推定方法として、眼球画像をＣＮＮに入力することにより、ユーザーが注視している領域を解析・推定する手法を用いた場合について説明を行う。ＣＮＮを用いることで、各ユーザー個人の眼球の非線形なひずみ等の影響も含めた、より高精度な検出を行うことが可能となる。

＜ＣＮＮを用いた眼球画像からの注視点位置の推測＞
本実施形態では、視線検出回路２０１及びＣＰＵ３が構成する注視点位置推定手段をＣＮＮで構成する。ＣＮＮの基本的な構成について、図１０および図１１を用いて説明する。

図１０に入力された２次元画像データから注視点を推定するＣＮＮの基本的な構成を示す。処理の流れは、左端を入力とし、右方向に処理が進んでいく。ＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層をひとつのセットとし、それが階層的に構成されている。

ＣＮＮでは、まずＳ層において前段階層で検出された特徴をもとに次の特徴を検出する。またＳ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に送る構成になっている。

Ｓ層は特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、Ｃ層は、特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面および特徴統合細胞面を総称して特徴面と呼ぶ。本実施形態では、最終段階層である出力層ではＣ層は用いずＳ層のみで構成している。

特徴検出細胞面での特徴検出処理、および特徴統合細胞面での特徴統合処理の詳細について、図１１を用いて説明する。

特徴検出細胞面は、複数の特徴検出ニューロンにより構成され、特徴検出ニューロンは前段階層のＣ層に所定の構造で結合している。また特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のＳ層に所定の構造で結合している。

図５中に示した、Ｌ階層目Ｓ層のＭ番目細胞面内において、位置

の特徴検出ニューロンの出力値を

、Ｌ階層目Ｃ層のＭ番目細胞面内において、位置

の特徴統合ニューロンの出力値を

と表記する。その時、それぞれのニューロンの結合係数を

とすると、各出力値は以下のように表すことができる。
［数式１］

［数式２］

数式１の

は活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であれば何でも良く、例えばｔａｎｈ関数で実現して良い。

は、Ｌ階層目Ｓ層のＭ番目細胞面における、位置

の特徴検出ニューロンの内部状態である。数式２は活性化関数を用いず単純な線形和をとっている。数式２のように活性化関数を用いない場合は、ニューロンの内部状態

と出力値

は等しい。また、数式１の

、数式３の

をそれぞれ特徴検出ニューロン、特徴統合ニューロンの結合先出力値と呼ぶ。

数式１及び数式２中の

について説明する。位置

は入力画像における位置座標に対応しており、例えば

が高い出力値である場合は、入力画像の画素位置

に、Ｌ階層目Ｓ層Ｍ番目細胞面において検出する特徴が存在する可能性が高いことを意味する。また

は数式２において、Ｌ−１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と呼ぶ。基本的にＬ−１階層目Ｃ層に存在する全ての細胞面についての積和演算を行う。

は、結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲

において積和演算を行う。このような有限な

の範囲を受容野と呼ぶ。また受容野の大きさを、以下では受容野サイズと呼び、結合している範囲の横画素数×縦画素数で表す。

また数式１において、Ｌ＝１つまり一番初めのＳ層では、

は、入力画像

または、入力位置マップ

となる。ちなみにニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、

は連続な変数ではなく、離散的な値をとる。ここでは、

は非負整数、

は自然数、

は整数とし、何れも有限な範囲となる。

数式１中の

は、所定の特徴を検出するための結合係数分布であり、これを適切な値に調整することによって、所定の特徴を検出することが可能になる。この結合係数分布の調整が学習であり、ＣＮＮの構築においては、さまざまなテストパターンを提示して、

が適切な出力値になるように、結合係数を繰り返し徐々に修正していくことで結合係数の調整を行う。

次に、数式２中の

は、２次元のガウシアン関数を用いており、以下の数式３のように表すことができる。
［数式３］

ここでも、

は有限の範囲としてあるので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野といい、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではＬ階層目Ｓ層のＭ番目特徴のサイズに応じて適当な値に設定すれば良い。数式３中の、

は特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけば良い。具体的には、受容野の一番外側の値がほぼ０とみなせるような値になるように設定するのが良い。

上述のような演算を各階層で行うことで、最終階層のＳ層において、注視点検出を行うのが、本実施形態におけるＣＮＮの構成である。

＜学習方法＞
実施例１における再キャリブレーションを、本実施例においては、ＣＮＮにおける追加学習の形で実現する。

注視点位置推定における追加学習は、教師あり学習の形で行われ、眼球画像とその眼球画像撮影時にユーザーが実際に見ている注視点位置の正解データが与えられることによって実現できる。

図９のフローチャートで説明したように、本発明においては、ステップＳ１０６において微調整動作の有無の判定を行い、これにより微調整動作があった場合には現在の注視点位置推定が間違っていることが分かる。また、ステップＳ１１０〜Ｓ１１１において微調整操作の方向・量からユーザーが実際に見ている注視点位置のデータが分かる。眼球画像はステップＳ１０３において得られている。よって、ステップＳ１１１の段階で上述の眼球画像及びユーザーが実際に見ている注視点位置の正解データが揃っており、追加学習が可能な状態となっている。

ここで、具体的な学習方法について説明する。

本実施形態では教師ありの学習により、結合係数の調整を行う。教師ありの学習では、テストパターンを与えて実際にニューロンの出力値を求め、その出力値と教師信号（そのニューロンが出力すべき望ましい出力値）の関係から結合係数

の修正を行えば良い。本実施形態の学習においては、最終層の特徴検出層は最小二乗法を用い、中間層の特徴検出層は誤差逆伝搬法を用いて結合係数の修正を行う（最小二乗法や、誤差逆伝搬法等の、結合係数の修正手法の詳細は、下記の文献を参照）。
［文献］
S.Haykin,“Neural Networks A Comprehensive Foundation 2nd Edition”,Prentice Hall,pp.156-255,July 1998
本実施形態では、予め学習する場合には、学習用のテストパターンとして、眼球画像とそれを撮影した際の実際の注視点位置のセットのデータを多数用意し学習を行う。また、追加学習する場合には、撮影中に視線位置微調整動作があった際に上述の方法で眼球画像とそれを撮影した際の実際の注視点位置のセットのデータを得る。各テストパターンは、眼球画像および正解注視点位置を１セットとしている。

活性化関数にｔａｎｈ関数を用いる場合は、検出すべき特定パターンを提示した時は、最終層の特徴検出細胞面の、特定パターンが存在する領域のニューロンに対し、出力が１となるように教師信号を与える。逆に、検出すべきでないパターンを提示した時は、そのパターンの領域のニューロンに対し、出力が−１となるように教師信号を与えることになる。

以上により、２次元画像から主被写体検出するためのＣＮＮが構築される。実際の検出においては、学習により構築した結合係数

を用いて演算をおこない、最終層の特徴検出細胞面上のニューロン出力によって注視点位置の検出（推定）を行う。

上記構成により、視線検出装置を有する被写体認識装置において、注視位置のキャリブレーション動作の自動化をＣＮＮにおける追加学習の自動化の形で実行し、各ユーザー個人の眼球の非線形なひずみ等の影響も含めた、より高精度な検出を行うことが可能となった。

１Ａ撮影レンズ、１Ｂカメラ筐体、２撮像素子、３ＣＰＵ、４メモリ部、
１０表示素子、１１表示素子駆動回路、１２接眼レンズ、
１３ａ〜ｂ照明光源、１４眼球、１５光分割器、１６受光レンズ、
１７眼球用撮像素子、１１１絞り、１１２絞り駆動部、
１１３レンズ駆動モーター、１１４レンズ駆動部材、１１５フォトカプラー、
１１６パルス板、１１７マウント接点、１４１瞳孔、１４２角膜、
１４３光彩

Claims

撮像素子と、
表示素子と、
眼球用撮像素子と、
該眼球用撮像素子から得られる眼球画像より、前記表示素子上において使用者の注視する箇所を推定する注視点位置推定手段と、
前記注視点位置推定手段により推定された注視点位置を示す指標を、前記表示素子上に表示する注視点位置表示手段と、
前記表示素子上に表示された注視点位置を示す指標の位置を、使用者が手動で変更することを可能とする手動操作手段と、を有し、
前記手動操作手段による指標の位置変更があった場合において、その際に撮影された眼球画像と前記手動操作手段による指標位置の変更量を用いて、前記注視点推定手段のパラメータの修正を行うことを特徴とする撮像装置。
前記指標位置の変更を行う手動操作手段は、無段階の調整手段と段階的な調整手段の双方を含み、どちらの操作手段を用いても前記指標位置の変更が可能であり、
前記注視点推定手段のパラメータの修正を行う際に、無段階の調整手段を用いた場合のデータのパラメータの修正への影響度が、段階的な調整手段を用いた場合のデータのパラメータの修正への影響度より大きくなるように重みづけが設定されていることを特徴とする請求項１に記載の撮像装置。
前記無段階の調整手段は、タッチパネル対応液晶を指でなぞり、その操作方向、操作量に対応する前記指標位置の変更を行うことに相当する請求項１又は２に記載の撮像装置。
前記無段階の調整手段は、レバー式の操作部材を用いて行う手段であり、そのレバーを倒した方向、倒したまま維持する時間に対応して決められた量だけ前記指標位置の変更を行うことに相当する請求項１又は２に記載の撮像装置。
前記段階的な調整手段はボタン式又はクリック式のキーに相当し、その押下操作されたキーの位置及び押下操作された回数に対応した前記指標位置の変更を行うことに請求項１又は２に記載の撮像装置。