JP2016194799A - 画像解析装置及び画像解析方法 - Google Patents

Abstract

【課題】比較的小さな画面しか持たない画像解析装置でも、画像解析における指示を利用者に確実に伝えることを可能とする。【解決手段】画像解析装置５０は、ディスプレイ５２、カメラ５４、推定部６８、設定部７０、誘導部７２及び表示制御部７４を有する。カメラは、ディスプレイに対面する被写体を撮影する。推定部は、カメラが撮影した被写体の形状を推定する。設定部は、被写体の形状に基づいて、ディスプレイの表示領域を設定する。誘導部は、被写体の形状に基づいて該被写体に対する誘導方向を算出する。表示制御部は、誘導方向に応じた誘導指示を表示領域に表示する。【選択図】図１

Description

本発明は、画像解析装置及び画像解析方法に関する。

例えば、手のひら静脈認証装置は、近赤外線で生体内の静脈パターンを撮影して個人を認証する装置である。このような装置は、認証対象の画像を撮影し、画像を解析する画像解析装置を含んでいる。

画像解析装置に関連する装置として、例えば、第１画像取得部と、画像合成部とを備え、所定の画像を加工する画像処理装置が知られている。この画像処理装置では、第１画像取得部は、第１画像を取得する。画像合成部は、第２画像を取得し、取得した第２画像と、第１画像取得部が取得した第１画像とを合成する。画像合成部は、第１画像取得部が取得した第１画像において所定の基準を満たす第１領域を検出し、検出した第１領域の近傍の領域に第２画像を重畳させ、第１画像と第２画像とを合成した第３画像を生成する（例えば、特許文献１参照）。

また、例えば携帯情報端末などで、画像を撮影するなどの動作を行う際に、利用者が操作しやすい位置にアイコンを表示するための表示方法も知られている。この携帯情報端末は、筐体の背面及び側面の少なくとも一方に設けられた複数のタッチセンサーでの検出結果に基づき、携帯情報端末において利用者の手によって保持されている位置を検出する。また、携帯情報端末は、内側カメラによって撮像された画像から、利用者の顔の向きを認識する。携帯情報端末は、検出された位置と認識された顔の向きとから、いずれの手で携帯情報端末を保持しているかという情報を含む保持状態を推定する。携帯情報端末は、推定された保持状態に基づき、現在の保持状態において利用者が容易に操作可能となるように、タッチパネルに表示されるべきアイコンの表示位置を決定する（例えば、特許文献２参照）。

特開２０１１−２２８９１３号公報 特開２０１３−２２２３２２号公報

ところで、携帯情報端末装置や、多機能携帯電話機など、デスクトップコンピュータやノート型コンピュータと比べて比較的小さい画面しか持たない装置に、手のひら静脈認証装置を搭載して認証しようとすると、以下のような問題がある。すなわち、手のひらを撮影するためにカメラに手をかざすと、手のひらによって画面表示が隠されてしまう場合があるという問題がある。画面表示が隠されてしまうと、利用者に、認証用の画像を撮影するため手の位置や高さなどを変更する指示等を適切に伝えることが難しくなり、使い勝手が低下する。

ひとつの側面によれば、本発明の目的は、比較的小さな画面しか持たない画像解析装置でも、画像解析における指示を利用者に確実に伝えるようにすることである。

ひとつの態様である画像解析装置は、ディスプレイ、カメラ、推定部、設定部、誘導部及び表示制御部を有する。カメラは、ディスプレイに対面する被写体を撮影する。推定部は、カメラが撮影した被写体の形状および位置を推定する。設定部は、被写体の形状および位置に基づいて、ディスプレイの表示領域を設定する。誘導部は、被写体の形状および位置に基づいて該被写体に対する誘導方向を算出する。表示制御部は、誘導方向に応じた誘導指示を表示領域に表示する。

ひとつの実施形態によれば、比較的小さな画面しか持たない画像解析装置でも、画像解析における指示を利用者に確実に伝えることが可能になる。

第1の実施の形態による画像解析装置の構成の一例を示す図である。 手のひら静脈認証を行う例を示す図である。 第１の実施の形態による視認可能領域の一例を示す図である。 第１の実施の形態による視認可能領域の一例を示す図である。 第１の実施の形態による所定の認証範囲を示す認証範囲テーブルの一例を示す図である。 第１の実施の形態による誘導画面の例を示す図である。 第１の実施の形態による画像認証装置を用いた生体認証方法を示すフローチャートである。 第１の実施の形態による視認可否判定処理を示すフローチャートである。 第２の実施の形態による画像解析装置の構成の一例を示す図である。 第２の実施の形態による誘導後の視認可能領域の算出例を示す図である。 第２の実施の形態による誘導後画面表示処理の一例を示すフローチャートである。

（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による画像解析装置５０について説明する。図1は、第1の実施の形態による画像解析装置５０の構成の一例を示す図である。図１に示すように、画像解析装置５０は、ディスプレイ５２、カメラ５４、処理装置６０、および記憶装置５６を有している。画像解析装置５０は、生体認証装置としての機能を有している。画像解析装置５０としては、例えば、携帯情報端末装置や、多機能携帯電話機などが用いられるようにしてもよい。この場合、通信機能などが搭載されているが、ここでは、生体認証装置としての機能を示している。

ディスプレイ５２は、情報を表示する表示装置であり、例えば、液晶表示装置である。ディスプレイ５２は、処理装置６０により制御されることで、所定の表示を行う。ディスプレイ５２は、タッチパネルを有するようにしてもよい。タッチパネルを有する場合、ディスプレイ５２は、処理装置６０により制御されることで、所定の表示を行うとともに、タッチパネルへの接触を検知する。このときディスプレイ５２は、画面の表示と対応する部分への接触が検知されると、検知された接触の、画面上の位置に対応する情報を出力する。

カメラ５４は、画像を撮影する撮影装置であり、撮像素子に加え、照明を有するようにしてもよい。本実施の形態において、カメラ５４は、生体認証の対象となる被写体を撮影する。カメラ５４は、ディスプレイ５２に対面する被写体を撮影する。記憶装置５６は、例えば、メモリであり、データベース７６、誘導画面データ７８などを格納している。データベース７６は、例えば、後述する認証範囲テーブルや、生体認証に使用する登録特徴データなど、画像解析装置５０が画像解析処理を行う際に必要とする情報を含んでいる。誘導画面データ７８は、被写体の位置を誘導する指示を含む画面データである。記憶装置５６は、画像解析装置５０の動作を制御するプログラムを格納するようにしてもよい。また、記憶装置５６は、画像解析装置５０が各種処理を行う際に、例えば画像バッファなどとして、必要に応じて作業領域として用いられるようにしてもよい。

処理装置６０は、例えば、画像解析装置５０における各種処理を行う演算処理装置（プロセッサ）である。処理装置６０は、例えば記憶装置５６に予め記憶された制御プログラムを読み込んで実行することで、画像解析装置５０としての各種処理を行うようにしてもよい。このとき、処理装置６０は、管理部６２、特徴抽出部６４、照合部６６、推定部６８、設定部７０、誘導部７２、表示制御部７４としての機能を実現する。あるいは、画像解析装置５０は、処理装置６０により実現される各機能の一部または全てに対応する集積回路を有するようにしてもよい。

管理部６２は、画像解析装置５０による生体認証処理全体を総括する処理を実行する。特徴抽出部６４は、カメラ５４で撮影された画像から認証に使用する生体特徴を抽出する。照合部６６は、照合処理を行う。すなわち照合部６６は、特徴抽出部６４が抽出した登録特徴データを用い、登録特徴データと入力データとがどの程度似ているかを表す類似度を出力する。

推定部６８は、被写体の３次元形状を取得する処理を行う。推定部６８は、カメラ５４が撮影した被写体の形状および位置を推定する。具体的にはＳｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ（ＳＦＳ）処理など行い、被写体の３次元形状を取得する。ＳＦＳ処理として、例えば、被写体上の複数の位置の輝度を測定し、複数の位置の夫々毎に、当該位置から光源までの距離を算出することで、被写体の３次元形状を取得する処理を用いるようにしてもよい。

設定部７０は、被写体の３次元形状に基づき利用者から見えると推定される視認可能領域を計算し、指示を表示する表示領域を設定する。すなわち、設定部７０は、被写体の形状および位置に基づいて、ディスプレイ５２の表示領域を設定する。誘導部７２は、算出された被写体の３次元形状（形状及び位置）に基づき、被写体を誘導する誘導方向を算出する。表示制御部７４は、算出された誘導方向に応じた指示を、設定部７０で設定された上記表示領域に表示させる処理を行う。

図２は、例えば、タブレット型の端末装置や、多機能携帯電話機の形態（まとめて、多機能携帯電話機等ということがある）の画像解析装置５０により、手のひら静脈認証を行う例を示す図である。多機能携帯電話機などに手のひら静脈認証装置を搭載して認証すると、手のひらによって画面表示が隠されてしまう場合がある。図２の手８０のように、画像解析装置５０のディスプレイ５２の一部が隠されてしまうことがある。手８２や手８４などのように、ディスプレイ５２のどこが隠されるかは、手の大きさや位置によって変わる。しかし、ディスプレイ５２の一部が隠されてしまうと、結果として、利用者に、手の位置や高さなどを適切な位置に誘導するための誘導指示を適切に伝えることが難しくなり、使い勝手が低下する。これは、ノート型コンピュータや大型のタブレットでは起こりづらいが、デバイスの小型化によって生じる問題である。

また、多機能携帯電話機等では、上下左右に本体が回転すると、加速度センサによって画面が上下左右回転して動作する。その結果、手のひら静脈認証センサとなるカメラ５４の位置を、利用者が間違えて手をかざしてしまうケースもあり得る。このような場合の誘導の際に、画面が手で隠されてしまう場合もあり得る。

特に手のひら静脈認証は非接触の認証であるため、手の位置や高さが一定とは限らない。また、手の大きさや形状は個人によって異なる為、誘導や、指示入力等のためのユーザインタフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＵＩ）画面（誘導画面ということがある。）をどこに表示するかを一意に決めることは難しい。

図３は、第１の実施の形態による視認可能領域の一例を示す図である。図３に示すように、目９０は、例えばディスプレイ５２の中心からディスプレイ５２に垂直な方向へ伸びる直線上にあるとする。このとき、撮影された画像に基づき、被写体９２の３次元形状が推定される。目９０は、境界９８から境界９６までの範囲でディスプレイ５２の画面９４を視認することになる。図３において、被写体９２の右側の境界９７より左側は、被写体９２に隠れて画面９４が視認不可能となっている。よって、図３の例では、目９０が視認できる画面９４の範囲は、視認可能領域１００で表される。なお、上述のように、被写体９２の形状は、例えばＳＦＳ処理等により取得される。上記のように、画面９４上の複数の点について、目９０が視認可能かどうかが判定される。

図４は、第１の実施の形態による視認可能領域の一例を示す図である。図４に示すように、推定される被写体９２の形状と、目９０の位置とに基づき、ディスプレイ５２の画面９４において、目９０にとって視認できる領域か否かが判定される。具体的には、ディスプレイ５２の画面９４上の点と、利用者の目９０を結ぶ線上に被写体９２が存在するかどうかが判定される。被写体９２で遮られてしまう領域は利用者からは見えないため、視認不能領域１０２となる。一方、被写体９２に遮られない領域は利用者から見えるため、視認可能領域１０４として判定される。誘導処理の際には、画像解析装置５０は、この視認可能領域１０４に合わせて、誘導画面を表示する。視認可能領域の判定については後述される。

図５は、第１の実施の形態による所定の認証範囲を示す認証範囲テーブル１２５の一例を示す図である。認証範囲テーブル１２５は、画像解析装置５０の生体認証における性能に合わせた、被写体が存在する好ましい３次元範囲を示す情報である。認証範囲テーブル１２５は、高さ範囲、Ｘ方向範囲、Ｙ方向範囲を有している。高さとは、例えばディスプレイ５２の画面から被写体までの距離である。Ｘ方向、Ｙ方向は、ディスプレイ５２に平行な面内の二次元方向である。３次元方向の夫々について、被写体が存在する範囲が示されている。例えば、認証範囲テーブル１２５に示された範囲に被写体が存在する場合に、生体認証が行われるようにしてもよい。

図６は、第１の実施の形態による誘導画面の例を示す図である。上記のように判定される視認可能領域１０４等の形状は、様々な条件によって変わる可能性がある。その為、誘導用画面レイアウトを複数用意しておくことが好ましい。これらのパターンは、誘導画面データ７８として記憶装置５６に記憶される。例えば、横長の視認可能領域の場合の誘導用表示１１０、正方形の場合の誘導用表示１１２、縦長の場合の誘導用表示１１４の３パターンを用意しておき、その中から選択することが考えられる。具体的には、誘導内容（移動方向など）、視認可能領域の大きさ、視認可能領域の形状に応じた複数のテンプレートを保存しておくことが好ましい。例えば、認証範囲テーブル１２５を参照して、算出された被写体の３次元位置が認証範囲テーブル１２５に記録された範囲と異なっている場合に、好ましい範囲に誘導するための所定の表示を行うようにしてもよい。また、誘導画面を表示する位置も適宜変更されることが好ましい。例えば誘導画面は、なるべく大きい視認可能領域に表示させるようにしてもよい。なるべくカメラ５４から離れた視認可能領域に誘導画面を表示させるようにしてもよい。

図７は、第１の実施の形態の画像解析装置５０を用いた生体認証方法を示すフローチャートである。図７に示すように、画像解析装置５０の管理部６２は、カメラ５４に被写体となる生体、例えば手のひらに対する照明を行わせ、認証用画像の撮影を実行させる（Ｓ１３１）。認証用画像は、認証処理に用いる画像であり、手のひら静脈認証の場合は、手のひら画像が該当する。

管理部６２は、距離情報を取得する（Ｓ１３２）。距離情報は、認証用画像をもとにＳＦＳ処理などによって被写体距離を算出することで得られる。例えば、ＳＦＳ処理などで計算した被写体上の各点までの距離の平均値などを用いることが好ましい。

管理部６２は、位置判定処理を行う（Ｓ１３３）。位置判定処理は、被写体の高さおよび上下左右方向の位置が所定の範囲内にあるかどうかを判断する処理である。上下左右方向の位置判定は、被写体の重心座標などを計算して、その重心座標の位置に基づき行うことが好ましい。尚、距離情報の計算は、センサに搭載されている距離センサをもとに行う構成としてもよい。このような構成によれば、装置を製造するためのコストは上がるが、精度は高くなる。

位置が適切である場合（Ｓ１３４：ＹＥＳ）、管理部６２は、認証処理を実行する（Ｓ１３５）。認証処理は、例えば手のひら静脈認証処理である。管理部６２は、カメラ５４で撮影した画像と、記憶装置５６に記憶されたデータベース７６における登録特徴データとに基づき、認証を行う。

位置が適切でない場合（Ｓ１３４：ＮＯ）、設定部７０は、視認可否判定処理を行い（Ｓ１３６）、例えば、被写体の位置を移動させるように誘導画面を表示し（Ｓ１３７）、Ｓ１３１に戻って処理を繰り返す。

図８は、第１の実施の形態による視認可否判定処理を示すフローチャートである。視認可否判定処理において、管理部６２は、カメラ５４を使って撮影した被写体上の点のインデックスをｉ=1とする（Ｓ１４１）。被写体上の点は、例えば所定距離毎など任意に定められるようにしてもよい。管理部６２は、目９０の推定位置Qと、被写体座標の延長線上で、画面上の座標P（Ｘ，Ｙ）を算出する（Ｓ１４２）。

以下、視認可能領域計算処理について説明する。設定部７０では、推定部６８から得た被写体の３次元データ（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝１、・・・、Ｎ）、および、利用者の目９０の推定存在位置Ｑ（Ｘｅ，Ｙｅ，Ｚｅ）を入力として、視認可能領域を出力する。ここで、大文字のＸ、Ｙ、Ｚは、例えば、画面９４の上の中心を原点とする３次元的な座標を表すとする。

まず、３次元形状取得部から得た被写体の３次元データＯｉ（Ｘｉ，Ｙｉ，Ｚｉ）について説明する。（Ｘｉ，Ｙｉ，Ｚｉ）は、ＳＦＳ処理などによって取得した被写体の３次元座標のi番目のデータ点を表している。ここで、ｉ＝１、・・・、Nは、得られた３次元情報の番号を表す。

推定部６８は、画面上の点（ｘ，ｙ）が利用者から見えるかどうか判定を行い、可視フラグを設定する（Ｓ１４３）。尚、小文字のｘ，ｙは画面上の座標を表し、単位をピクセルから長さ（ｍｍ）に変換することが好ましい。推定部６８は、利用者の目の位置Ｑ（Ｘｅ，Ｙｅ，Ｚｅ）と被写体（Ｘｉ，Ｙｉ，Ｚｉ）とを結んだ直線の延長線上で、画面上の点Ｐ（ｘ，ｙ）を求める（Ｓ１４２）。点Ｐ（ｘ，ｙ）が、被写体に遮られて利用者からは見えないと判断されると、点Ｐ（ｘ，ｙ）の可視フラグ＝０を設定する。

以下では、点Ｐと点Ｑの間に被写体が存在するかどうかの判定処理について説明する。３次元座標系Ｘ、Ｙ、Ｚにおいて、利用者の目の推定位置Ｑ（Ｘｅ，Ｙｅ，Ｚｅ）と被写体Ｏｉ（Ｘｉ，Ｙｉ，Ｚｉ）を結ぶ直線lを求めるものとする。直線lは媒介変数tを用いて式１のように求めることができる。
Ｘ＝Ｘｅ＋（Ｘｉ−Ｘｅ）ｔ
Ｙ＝Ｙｅ＋（Ｙｉ−Ｙｅ）ｔ
Ｚ＝Ｚｅ＋（Ｚｉ−Ｚｅ）ｔ
・・・（式１）

次に、直線lと画面９４とが交差する点Ｐ（ｘ，ｙ）が求められる。画面のＺ座標は、Ｚ＝０であるため、式１から媒介変数ｔを下記式２のように求めることができる。
ｔ＝Ｚｅ／（Ｚｅ−Ｚｉ）・・・（式２）

上記媒介変数ｔを式１に代入することで、画面上の点Ｐ（ｘ，ｙ）を求めることができる。該当点Ｐ（ｘ，ｙ）が例えば、画面９４の範囲内の場合（Ｐ（ｘ，ｙ）が画面９４上かどうかは、画面９４のサイズで決まる）、該当点Ｐ（ｘ，ｙ）は、被写体に遮られて利用者からは見ることができない（視認不能）と判定される。このとき、点Ｐ（ｘ，ｙ）の可視フラグ＝０とされる。

設定部７０は、ｉ≦Ｎの場合（Ｓ１４４：ＮＯ）、ｉ＝ｉ＋１として（Ｓ１４５）、Ｓ１４１から処理を繰り返す。ｉ＞Ｎの場合（Ｓ１４４：ＹＥＳ）、設定部７０は、視認可否判定処理を終了する。このような処理を予め設定された全被写体点に対して適用することで、視認可能領域が算出される。算出された視認可能領域に、図6で説明した誘導用表示１１０などを表示させることで、被写体にさえぎられることなく、画面が視認される。

ここで、計算された視認可能領域に応じて誘導画面を表示する処理を説明する。誘導画面表示処理は、誘導部７２が行い、その際に、記憶装置５６に記憶されている誘導画面データ７８が用いられる。例えば、誘導画面データ７８は、誘導する内容に応じた「誘導パターン」に対応した誘導画面を含むことが好ましい。例えば、誘導パターンとして、下記のようなパターンを含むことが好ましい。
・手の高さを下方向に誘導する。
・手の高さを上方向に誘導する
・手を右方向に誘導する。
・手を左方向に誘導する
・手を下方向（手前方向）に誘導する
・手を上方向（奥方向）に誘導する

第1の実施の形態においては、図6に、誘導画面として縦横比の異なる３パターンの誘導画面を示した。例えば、手を右方向に誘導する場合、図６に示した３パターンの画面を用意しておき、その中から適切な画像を利用することが好ましい。

例えば、誘導部７２は、計算で得られた視認可能領域の縦横比を求め、それに最も近い縦横比を持つ誘導画面を選択して表示するようにしてもよい。尚、誘導画面の全体の大きさは、視認可能領域の面積に応じて調整する。例えば、誘導部７２は、視認可能領域をラベリングして小領域を除いた後、最大領域Ｓを求める。誘導部７２は、最大領域Ｓの縦、横の長さを求め、その比に応じて、例えば、図６の３パターンから適切な画像を選択する。

例えば、視認可能領域が十分に大きい場合には、矢印などの図形とともに、図６に示したように文字を含めた誘導（例えば、「手を離してください」）を行うことができる。一方、視認可能領域が小さい場合、文字を表示することは難しい為、矢印などの直観的な誘導表示のみを用いることで限られた表示領域を有効に活用することができる。

以上説明したように、第1の実施の形態による画像解析装置５０は、ディスプレイ５２、カメラ５４、推定部６８、設定部７０、誘導部７２、及び表示制御部７４を有している。カメラ５４は、ディスプレイ５２に対面する被写体を撮影する。推定部６８は、カメラ５４が撮影した被写体の形状および位置を推定する。設定部７０は、被写体の形状および位置に基づいて、ディスプレイ５２の表示領域を設定する。誘導部７２は、被写体の形状および位置に基づいて該被写体に対する誘導方向を算出する。表示制御部７４は、誘導方向に応じた誘導指示を表示領域に表示する。

画像解析装置５０を、例えば、手のひら静脈認証装置として用いる場合、多機能携帯電話機等、小型のデバイスに搭載されることがある。このように、画像解析装置５０として小型のデバイスを用いる場合にも、画面上の被写体で遮られないところに表示を行うため、画像解析における指示を利用者に確実に伝えることができ、使い勝手が向上する。小型のデバイスでも、使い勝手よく生体認証が行えると、個人認証の手段として非常に有用なものとなる。特に、セキュリティが重要な様々な業務分野で利用されるにあたり、重用されることが期待される。

また、多機能携帯電話機などでは、加速度センサによって上下左右回転しても動作する結果、手のひら静脈認証センサ位置を利用者が間違えて、手をかざしてしまうケースもあり得る。このような場合の誘導の際に、画面が手で隠されることが防止される。特に手のひら静脈認証等は、非接触で認証するので、手の位置や高さが一定とは限らず、また、手の大きさや形状が個人によって異なることがあっても、誘導画面を視認可能な場所に表示することができる。

（第２の実施の形態）
以下、第２の実施の形態による画像解析装置２００について説明する。第２の実施の形態において、第１の実施の形態と同様の構成及び動作については、同一番号を付し、重複説明を省略する。

図９は、第２の実施の形態による画像解析装置２００の構成の一例を示す図である。図９に示すように、画像解析装置２００は、ディスプレイ５２、カメラ５４、処理装置２１０、および記憶装置５６を有している。画像解析装置２００は、生体認証装置としての機能を有している。画像解析装置２００としては、例えば、携帯情報端末装置や、多機能携帯電話機などが用いられるようにしてもよい。この場合、通信機能などが搭載されているが、ここでは、生体認証装置としての機能を示している。

処理装置２１０は、画像解析装置２００における各種処理を行う演算処理装置である。処理装置２１０は、例えば記憶装置５６に予め記憶された制御プログラムを読み込んで実行することで、画像解析装置２００としての各種処理を行うようにしてもよい。このとき、処理装置２１０は、第1の実施の形態の画像解析装置５０と同様に、管理部６２、特徴抽出部６４、照合部６６、推定部６８、設定部７０、誘導部７２、表示制御部７４としての機能を実現する。処理装置２１０は、さらに、誘導後座標計算部２１２としての機能を実現する。あるいは、画像解析装置２００は、処理装置６０により実現される各機能の一部または全てに対応する集積回路を有するようにしてもよい。誘導後座標計算部２１２は、被写体の誘導後の座標を計算する。第2の実施の形態においては、画像解析装置２００は、誘導後視認可能領域を算出し、誘導画面表示に用いることが好ましい。

図１０は、第２の実施の形態による誘導後の視認可能領域の算出例を示す図である。図１０に示すように、ディスプレイ５２と目９０との位置関係は、図４の例と同様であるとする。被写体９２の位置が適切でないと判定されると、例えば、誘導後被写体２２２の位置まで、被写体９２を誘導することが好ましい。このとき、画像解析装置２００は、現在の視認可能領域１００と、誘導後の誘導後視認可能領域２２４との重複した領域を求め、ここに誘導画面を表示することが好ましい。被写体の誘導後でも利用者から見える領域に誘導画面を表示することで、誘導過程においても誘導画面が常に見えるようにできる。

このとき、画像解析装置２００は、誘導後被写体２２２の位置まで誘導した場合の被写体位置を推測し、誘導後の誘導後視認可能領域２２４を求めることが好ましい。誘導後視認可能領域２２４が十分に大きい場合には、矢印などの図形とともに、図６に示したように文字を含めた誘導（例えば、「手を離してください」）を行うことができる。一方、視認可能領域が小さい場合、文字を表示することは難しいため、矢印などの直観的な誘導表示のみを用いることで限られた表示領域を有効に活用する。

誘導後視認可能領域の計算、及び誘導画面の表示の一例は、下記に示される。図１１は、第２の実施の形態による誘導後画面表示処理の一例を示すフローチャートである。誘導後座標計算部２１２は、誘導幅を計算する（Ｓ２３１）。誘導幅は、現在撮影された被写体３次元情報をもとに、誘導すべき量を計算したものである。高さ＝Ｚを誘導する場合、ΔＺは次の式３のように求まる。
ΔＺ＝(現在の被写体座標Ｚｉの平均)−(誘導後の高さＺ)・・・（式３）
誘導後の高さＺは、例えば、図５の認証範囲テーブル１２５に示した所定の認証範囲内の値であって、現在の高さに最も近い値としてもよい。Ｘ座標、Ｙ座標に関する誘導幅も同様に求めることができる。具体的には、誘導後に、被写体の中心（例えば、手のひら中心）が、画面中央になるように算出してもよい。

誘導後座標計算部２１２は、誘導前の被写体座標と算出した誘導幅とに基づき、誘導後被写体座標Ｏ’ｉ（Ｘｉ’，Ｙｉ’，Ｚｉ’）を計算する（Ｓ２３２）。また、誘導後座標計算部２１２は、誘導後被写体座標から誘導後視認可能領域を計算する（Ｓ２３３）。誘導後座標計算部２１２は、誘導後被写体座標から算出した誘導後視認可能領域と、現在の視認可能領域とが重複する領域を求め、該当領域に誘導画面を表示する（Ｓ２３４）。以上のように、画像解析装置２００では、被写体の位置を適切な位置に誘導する必要がある場合、誘導後の被写体にさえぎられない位置に、誘導画面を表示する。よって、誘導処理の途中でも利用者が見る誘導画面が遮られることがないため、使い勝手がさらに向上する。計算された誘導後の視認可能領域に応じて誘導画面を表示する処理は、第１の実施の形態と同様である。

以上説明したように、第２の実施の形態による画像解析装置２００によれば、誘導画面は、被写体の誘導前の視認可能領域と、誘導後の視認可能領域との共通領域に表示される。このように、画像解析装置２００によれば、誘導画面を表示させる位置を適切に決定することができる。また、適切な位置に誘導画面が表示されるので、利用者は、被写体を移動させる際に常に誘導画面を視認することが可能であり、使い勝手がさらに向上する。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、上記第1または第２の実施の形態において、利用者の目９０の推定位置Ｑ（Ｘｅ，Ｙｅ，Ｚｅ）は、所定の値を標準値として採用していた。しかし、実際には利用者ごとに異なることが考えられる。その為、利用者ごとにＱ（Ｘｅ，Ｙｅ，Ｚｅ）を個別に設定するような構成とするようにしてもよい。これにより、より実際に即した誘導画面の表示位置を選択することができる。

誘導画面は、縦横比の異なる画面を複数準備し、拡大縮小するようにしていたが、これに限定されない。例えば誘導画面の大きさに応じて表示する情報を適宜切り替えた方がよい場合がある。例えば、誘導画面内に文字を表示する場合、ある程度以上画面が小さくなると、文字が利用者からは見えなくなる。そのため、表示する誘導画面のサイズに応じて誘導画面を切り替える構成としてもよい。具体的には、視認可能領域が十分に大きい場合には文字と画像の両方を表示する。しかし、表示領域が小さい場合には、文字を表示せずに画像（「⇒」矢印等）のみを表示するような構成としてもよい。このような構成により、利用者の使い勝手がさらに向上される。

なお、ＳＦＳ処理以外にも、格子状に配置されたスポット照明を用いる方式や、レーザーを用いた光切断法など様々な方式を利用するようにしてもよい。また、視認可能領域が複数ある場合には、画面９４上で、カメラ５４からなるべく遠い領域を優先的に選択することが好ましい。このような選択を行うことで、より誘導画面が被写体にさえぎられる可能性を低減させることができる。

以上の第１及び第２の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ディスプレイと、
前記ディスプレイに対面する被写体を撮影するカメラと、
前記カメラが撮影した前記被写体の形状を推定する推定部と、
前記被写体の形状に基づいて、前記ディスプレイの表示領域を設定する設定部と、
前記被写体の形状に基づいて該被写体に対する誘導方向を算出する誘導部と、
前記誘導方向に応じた誘導指示を前記表示領域に表示する表示制御部と、
を備えることを特徴とする画像解析装置。
（付記２）
前記設定部は、前記誘導部が算出した誘導方向に基づいて前記表示領域を変更することを特徴とする付記１に記載の画像解析装置。
（付記３）
前記設定部は、前記カメラからの距離が遠い表示領域を優先して設定することを特徴とする付記１または付記２に記載の画像解析装置。
（付記４）
画像解析装置が、
カメラにより撮影された、ディスプレイに対面する被写体の形状を推定し、
前記被写体の形状に基づいて、前記ディスプレイの表示領域を設定し、
前記被写体の形状に基づいて該被写体に対する誘導方向を算出し、
前記誘導方向に応じた誘導指示を前記表示領域に表示する、
ことを特徴とする画像解析方法。
（付記５）
さらに、算出された誘導方向に基づいて前記表示領域を変更することを特徴とする付記４に記載の画像解析方法。
（付記６）
さらに、前記カメラからの距離が遠い表示領域を優先して設定することを特徴とする付記４または付記５に記載の画像解析方法。
（付記７）
カメラにより撮影された、ディスプレイに対面する被写体の形状を推定し、
前記被写体の形状に基づいて、前記ディスプレイの表示領域を設定し、
前記被写体の形状に基づいて該被写体に対する誘導方向を算出し、
前記誘導方向に応じた誘導指示を前記表示領域に表示する、
処理をコンピュータに実行させるプログラム。

５０ 画像解析装置
５２ ディスプレイ
５４ カメラ
５６ 記憶装置
６０ 処理装置
６２ 管理部
６４ 特徴抽出部
６６ 照合部
６８ 推定部
７０ 設定部
７２ 誘導部
７４ 表示制御部
７６ データベース
７８ 誘導画面データ
８０〜８４ 手
９０ 目
９２ 被写体
９４ 画面
９６〜９８ 境界
１００ 視認可能領域
１０２ 視認不能領域
１０４ 視認可能領域
１１０〜１１４ 誘導用表示
１２５ 認証範囲テーブル

Claims (5)

1. ディスプレイと、
   前記ディスプレイに対面する被写体を撮影するカメラと、
   前記カメラが撮影した前記被写体の形状を推定する推定部と、
   前記被写体の形状に基づいて、前記ディスプレイの表示領域を設定する設定部と、
   前記被写体の形状に基づいて該被写体に対する誘導方向を算出する誘導部と、
   前記誘導方向に応じた誘導指示を前記表示領域に表示する表示制御部と、
   を備えることを特徴とする画像解析装置。
2. 前記設定部は、前記誘導部が算出した誘導方向に基づいて前記表示領域を変更することを特徴とする請求項１に記載の画像解析装置。
3. 前記設定部は、前記カメラからの距離が遠い表示領域を優先して設定することを特徴とする請求項１または請求項２に記載の画像解析装置。
4. 画像解析装置が、
   カメラにより撮影された、ディスプレイに対面する被写体の形状を推定し、
   前記被写体の形状に基づいて、前記ディスプレイの表示領域を設定し、
   前記被写体の形状に基づいて該被写体に対する誘導方向を算出し、
   前記誘導方向に応じた誘導指示を前記表示領域に表示する、
   ことを特徴とする画像解析方法。
5. カメラにより撮影された、ディスプレイに対面する被写体の形状を推定し、
   前記被写体の形状に基づいて、前記ディスプレイの表示領域を設定し、
   前記被写体の形状に基づいて該被写体に対する誘導方向を算出し、
   前記誘導方向に応じた誘導指示を前記表示領域に表示する、
   処理をコンピュータに実行させるプログラム。

Images