JP2023065150A - 情報処理装置および情報処理プログラム - Google Patents

情報処理装置および情報処理プログラム Download PDF

Info

Publication number
JP2023065150A
JP2023065150A JP2021175789A JP2021175789A JP2023065150A JP 2023065150 A JP2023065150 A JP 2023065150A JP 2021175789 A JP2021175789 A JP 2021175789A JP 2021175789 A JP2021175789 A JP 2021175789A JP 2023065150 A JP2023065150 A JP 2023065150A
Authority
JP
Japan
Prior art keywords
information
sight
line
unit
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021175789A
Other languages
English (en)
Other versions
JP7319561B2 (ja
Inventor
明寛 梶山
Akihiro KAJIYAMA
伊佐男 青木
Isao Aoki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Client Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Client Computing Ltd filed Critical Fujitsu Client Computing Ltd
Priority to JP2021175789A priority Critical patent/JP7319561B2/ja
Publication of JP2023065150A publication Critical patent/JP2023065150A/ja
Application granted granted Critical
Publication of JP7319561B2 publication Critical patent/JP7319561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】視線情報を用いた操作性向上と生体情報を用いたキュリティ性向上の両立をさせ易く、コストの増加や構成の煩雑化を抑制することが可能な情報処理装置を提供する。【解決手段】情報処理装置は、表示部の表示画面における利用者の注視位置に対応する視線情報を共用撮像部を用いて取得して視線利用処理を実行する視線処理部と、利用者の識別のために利用者の顔の生体情報を共用撮像部を用いて取得して認証処理を実行する認証処理部と、認証処理部が取得した生体情報を一時的に記憶する記憶部と、を備え、認証処理部は、視線処理部による視線情報の取得処理中に認証処理を実行する場合、記憶部に記憶された生体情報を読み出して認証処理を実行する。【選択図】図2

Description

本発明の実施形態は、情報処理装置および情報処理プログラムに関する。
近年、スマートフォン、タブレット端末、携帯電話、パーソナルコンピュータ等の情報処理装置において、撮像部(例えば、赤外線カメラ)等で取得した画像情報を用いて、操作性の向上やセキュリティ性の向上を図る技術が種々提案されている。画像情報を用いて操作性を向上する技術としては、例えば、利用者の視線の動きを赤外線カメラ等で捉え、その視線情報をマウス等の入力装置による入力情報の代わりに利用する技術が実用化されている(特許文献1)。また、画像情報を用いてセキュリティ性を向上する技術としては、例えば、利用者固有の生体情報である虹彩パターンを赤外線カメラ等で捉え、予め登録した虹彩パターンと比較することにより認証を行う、虹彩認証技術が実用化されている(特許文献2)。
特開2017-091327号公報 特開2020-160757号公報
上述したように、操作性向上技術で用いる視線情報やキュリティ性向上技術で用いる虹彩情報(生体情報)は、いずれも撮像部を用いて取得している。この場合、視線情報は、上述したようにマウス操作の代わりに利用するため、情報処理装置が稼働中は、ほぼ全期間で継続的に取得する必要がある。また、虹彩情報は、情報処理装置での作業中、認証が必要になったタイミングで認証処理ができるようにするために、常時取得可能な状態で待機していることが望ましい。そのため、一般的には、専用の撮像部を搭載していた。そのため、視線情報を用いた操作性向上技術と虹彩情報を用いたキュリティ性向上技術を両方搭載しようとする場合には、専用の撮像部をそれぞれ搭載することになり、コストの増大や構造の煩雑化を招きやすく、両技術の搭載は困難であるというのが現状であった。
したがって、本発明が解決する課題の一例は、視線情報を用いた操作性向上と生体情報を用いたキュリティ性向上の両立をさせ易く、コストの増加や構成の煩雑化を抑制することが可能な情報処理装置および情報処理プログラムを提供することである。
本発明の第1態様に係る情報処理装置は、表示部の表示画面における利用者の注視位置に対応する視線情報を共用撮像部を用いて取得して視線利用処理を実行する視線処理部と、前記利用者の識別のために前記利用者の顔の生体情報を前記共用撮像部を用いて取得して認証処理を実行する認証処理部と、前記認証処理部が取得した前記生体情報を一時的に記憶する記憶部と、を備え、前記認証処理部は、前記視線処理部による前記視線情報の取得処理中に前記認証処理を実行する場合、前記記憶部に記憶された前記生体情報を読み出して前記認証処理を実行する。
また、情報処理装置の前記認証処理部は、例えば、前記記憶部に前記生体情報が記憶されていない場合、前記視線処理部に対して前記共用撮像部の利用を一時的に中断させる第一の要求信号を提供し、利用が中断された前記共用撮像部を利用して前記生体情報を取得するようにしてもよい。
また、情報処理装置の前記視線処理部は、例えば、前記視線情報が所定期間以上取得されない場合、前記記憶部に記憶された前記生体情報を削除させる第二の要求信号を出力するようにしもよい。
また、情報処理装置の前記認証処理部は、例えば、前記記憶部の前記生体情報の記憶の有無に応じて、前記視線処理部に対して、前記共用撮像部の利用可否を示す切替情報を提供するようにしてもよい。
本発明の第2態様に係る情報処理プログラムは、表示部の表示画面における利用者の注視位置に対応する視線情報を共用撮像部を用いて取得して視線利用処理を実行する視線処理と、前記利用者の識別のために前記利用者の顔の生体情報を前記共用撮像部を用いて取得する生体情報取得処理と、取得した前記生体情報を記憶部に一時的に記憶させる記憶処理と、前記視線情報の取得処理中に前記利用者の識別が必要な場合に、前記記憶部に記憶された前記生体情報を読み出して認証処理を実行する認証処理と、を、情報処理装置に実行させる。
本発明の上記態様によれば、認証処理部が取得した生体情報を一時的に記憶部に記憶しておく。そして、認証処理部は、視線処理部による視線情報の取得処理中に認証処理を実行する場合、記憶部に記憶された生体情報を読み出して認証処理を実行する。したがって、認証処理部による生体認証を実行する場合でも、視線処理部による視線情報の取得を妨げにくくすることができる。その結果、視線情報を用いた操作性向上と生体情報を用いたキュリティ性向上の両立をさせ易く、コストの増加や構成の煩雑化を抑制することできる。
図1は、実施形態にかかる情報処理装置の構成および情報処理装置に接続可能なデバイスを示す例示的かつ模式的なブロック図である。 図2は、実施形態にかかる情報処理装置のCPUで実現される機能構成を示す例示的かつ模式的ブロック図である。 図3は、実施形態のかかる情報処理装置で実現される視線処理部における視線処理の流れ説明する例示的なフローチャートである。 図4は、実施形態のかかる情報処理装置で実現される認証処理部における認証処理の流れ説明する例示的なフローチャートである。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
図1は、実施形態にかかる情報処理装置10の構成および情報処理装置10に接続可能なハードウェアを示す例示的かつ模式的なブロック図である。図1に示されるように、実施形態にかかる情報処理装置10は、PC(Personal Computer)などといった一般的なハードウェアで構成することができる。情報処理装置10に接続されている補助的なハードウェアとしては、例えば、表示部12、キーボード14、マウス16、赤外線カメラ18等である。なお、図1の場合、情報処理装置10の一例として、表示部12が別体となっている据置型のパーソナルコンピュータ(パソコン)を示している。別の例では、情報処理装置10として、例えば、表示部一体型の据置型パソコンや、携帯型のノートパソコン、タブレット端末、スマートフォン、携帯電話等でもよい。
本実施形態において、情報処理装置10は、撮像部(カメラ等)で取得した画像情報を用いて、情報処理装置10の操作性の向上やセキュリティ性の向上を実現する構成を搭載している。例えば、利用者の視線の動きを赤外線カメラ18で捉え、その視線情報を従来使用していたマウス16等の入力装置による入力情報(ポインタで指し示す位置情報)の代わりに利用することで、情報処理装置10の操作性の向上を実現している。また、例えば、利用者固有の生体情報である虹彩パターンを赤外線カメラ18で捉え、予め登録した虹彩パターンと比較することにより認証を行う。そして、認証が許可された場合のみ、特定ファイルへのアクセスや特定のWebページへのログイン等を可能にすることでセキュリティ性の向上を実現する。なお、本実施形態において、赤外線カメラ18は、視線情報を取得する撮像部として機能するとともに、虹彩情報を取得する撮像部として機能する。したがって、本実施形態において、赤外線カメラ18は、複数の機能で共用可能であり、「共用撮像部」と称する場合もある。なお、撮像部は赤外線カメラ18に限定されず、視線情報や虹彩情報を取得して利用可能であれば、可視光カメラでもよい。また、本実施形態における生体認証は、セキュリティ性の高い虹彩認証を一例に説明するが、虹彩認証に限定されず、共用撮像部としての赤外線カメラ18で撮像(取得)可能な、情報処理装置10の利用者の例えば、顔の生体情報であればよい。したがって、本実施形態における認証処理は、例えば、顔認証等でもよい。
図1に示される例において、情報処理装置10は、CPU(Central Processing Unit)20と、ROM(Read Only Memory)22と、RAM(Random Access Memory)24と、HDD(Hard Disk Drive)26、ネットワークインターフェース28と、GPU(Graphics Processing Unit)30、入力インターフェース32、光学ドライブ装置34、機器接続インターフェース36等を有する。なお、HDD26に代えて、または加えてSSD(Solid State Drive)を有してもよい。これらのハードウェアは、データバス38を介して互いに接続されている。なお、情報処理装置10を構成するハードウェアは、適宜変更可能である。例えば、光学ドライブ装置34は省略されてもよいし、他のハードウェアを加えてもよい。
CPU20は、情報処理装置10を統括的に制御するハードウェアプロセッサである。CPU20は、ROM22などに記憶された各種の制御プログラム(情報処理プログラム等)を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。
ROM22は、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
RAM24は、CPU20の作業領域を提供する揮発性の補助記憶装置である。
HDD26は、書き換え可能な不揮発性の補助記憶装置である。
ネットワークインターフェース28は、情報処理装置10と外部装置との間の通信を実現するインターフェースである。例えば、ネットワークインターフェース28は、表示部12で表示するWebページや外部装置から提供される画像情報や動画情報、音声情報等のコンテンツの取得、メールや各種ファイルの送受信等を、ネットワークWを介して実行する。
GPU30は、表示部12に表示する画像描写のための演算を行う。
入力インターフェース32は、情報処理装置10と外部の入力装置との接続を実現するインターフェースである。外部の入力装置としては、例えば、情報処理装置10の利用者が使用するキーボード14やマウス16等である。
光学ドライブ装置34は、CD-ROMやDVD-ROM等の光学ディスク34aを受け入れて、データの読み取りや書き込み等を行う。
機器接続インターフェース36は、情報処理装置10と外部のハードウェアとの接続を実現するインターフェースである。外部接続されるハードウェアとしては、例えば、本実施形態において、視線情報や虹彩情報を取得する撮像部である。撮像部は、例えば、赤外線カメラ18であり、近赤外線画像の撮像を行う赤外線カメラユニット18aと近赤外線を照射する近赤外線照射ユニット18b等を含む。
赤外線カメラユニット18aは、可視光域をカットするフィルタを備え、例えば、波長域が780nm~2500nmの近赤外域の画像を撮像する。赤外線カメラユニット18aは、赤外線照射ユニット18bが照射する近赤外光が対象物、この場合、情報処理装置10に対面している人間(主に表示部12の表示画面12aを覗き込んでいる利用者)の顔で反射した近赤外光に基づく画像を撮像する。なお、図1の場合、説明の都合上、赤外線カメラ18を独立的に図示しているが、赤外線カメラ18は、表示部12を覗き込んでいる利用者の主に顔(瞳)を撮像できれば、いずれの場所に配置されてもよい。例えば、表示部12の上部額縁の中央部等に装着されてもよいし、表示部12の一部、例えば、上部額縁の中央部等に内蔵されてもよい。なお、上述したように、表示部12の表示画面12a上におけるポインタの移動を、視線情報を用いて行う場合、赤外線カメラ18は、表示部12(表示画面12a)を覗き込む利用者のほぼ正面に配置することが望ましい。
CPU20は、キーボード14やマウス16の入力操作に基づく演算処理を行う。また、CPU20は、表示部12で表示する画像に関連した画像処理や、光学ドライブ装置34に挿入された光学ディスク34aのデータの読み込み処理や書き込み処理、赤外線カメラ18の制御や赤外線カメラ18で撮像した画像の処理、ネットワークWを介して取得した各種情報に基づく、演算処理や表示処理等を実行する。CPU20は、ROM22等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって、上述した各種処理を実行するモジュールを実現する。
図2は、実施形態にかかる情報処理装置10のCPU20で実現される機能構成を示す例示的かつ模式的ブロック図である。なお、図2は、本実施形態の説明のために、CPU20が実現する各種モジュールのうち、視線処理を実行する視線処理部40及び認証処理を実行する認証処理部42のみを図示している。したがって、CPU20が実現可能な他のモジュールに関しては、図示及びその説明は省略する。
視線処理部40は、上述した赤外線カメラ18を介した視線情報の取得処理やその視線情報を用いた処理を実行するための詳細モジュールとして、カメラ切替部40a、視線取得部40b、視線利用処理部40c、虹彩情報削除要求信号発生部40d等を備える。
カメラ切替部40aは、視線処理部40側における赤外線カメラ18の利用権限の切り替え及び赤外線カメラ18との接続切替制御を行う。本実施形態の場合、赤外線カメラ18の利用権限は、通常、例えば、視線処理部40が有する。つまり、情報処理装置10が起動している場合、視線処理部40が優先的に赤外線カメラ18を利用し、赤外線カメラ18によって表示部12(表示画面12a)を覗き込む利用者の瞳を撮像して視線情報を取得する。また、カメラ切替部40aは、認証処理部42からの要求により認証処理部42が赤外線カメラ18を利用する場合には、一時的に赤外線カメラ18の利用権限を認証処理部42に移行する。また、カメラ切替部40aは、認証処理部42から赤外線カメラ18の利用が完了した旨を示す信号を取得した場合、赤外線カメラ18の利用権限を視線処理部40に復帰させる。
視線取得部40bは、赤外線カメラ18の利用権限が視線処理部40にある場合、基本的には常時、赤外線カメラ18を介して、表示部12(表示画面12a)を覗き込んでいる利用者(瞳)の撮影を行い、周知の角膜反射法(アクティブ方式)や三次元眼球モデル(パッシブ方式)等により利用者が表示画面12a上で注視している位置、すなわち視線情報の取得を行う。なお、視線取得部40bは、視線追跡部40b1を備え、一度視線情報を取得した場合、その視線を追跡し、例えば、視線の表示画面12a上における軌跡情報等も取得する。換言すれば、視線が表示画面12aを見失った場合、利用者が例えば、離席したことを示す離席信号を発生することができる。なお、利用者が、離席せずに、視線を表示画面12aから外す場合がある。例えば、顔を上下や左右等に振った場合等も一時的に視線が表示画面12aから外れる。この場合、視線追跡部40b1は、視線の追跡を中断してもよいし、所定期間以内であれば、視線を見失った方向から視線が戻ってきた場合に、視線を継続して追跡するようにしてもよい。
視線利用処理部40cは、視線取得部40bが取得した視線情報に基づき、視線利用処理を実行する。視線利用処理は、例えば、視線情報によって定められる表示画面12a上の位置、つまり、利用者の注視位置の座標を算出し、その座標と表示画面12a上に表示されるポインタの座標とを関連付けて、表示画面12aに表示されたコンテンツやアイコンの選択や決定等を行う処理である。つまり、マウス16等によって行うポインタの移動動作を、視線(注視位置)を動かすことにより実行する処理である。なお、マウス16等で実行していたポインタの移動先での決定操作等は、例えば、瞬きの回数や瞬きの時間(目を閉じている時間)等を検出することにより、特定の動作と実行可能である。例えば、注視位置が移動しない状態で、所定短期間以内に連続して瞬きを例えば2回検出した場合に、クリック動作が行われたと判定し、アイコンの決定処理を行うようにすることができる。このように、視線情報を用いて、表示画面12a上におけるポインタの位置移動制御や、視線の示す位置すなわちポインタの表示位置におけるアイコンの選択制御等をマウス16による操作と同様に実行可能とすることができる。その結果、ポインタの移動等の操作のためにキーボード14から手を外す必要がなくなり、入力操作の簡略化及び効率化等、操作性の向上に寄与することができる。なお、視線の移動と瞬き動作等を組み合わせることにより、表示画面12aに表示させたキーボード画像上での選択動作で入力操作を実現することも可能である。
虹彩情報削除要求信号発生部40dは、視線追跡部40b1によって、視線の追跡ができなくなった場合、つまり、情報処理装置10の利用者(表示画面12aを覗き込んでいた利用者)が離席した可能性がある場合に、認証処理部42に対して、記憶している虹彩情報を削除する要求信号(第二の要求信号と称する場合もある)を発生する。後述するが、本実施形態の場合、赤外線カメラ18を介して取得した虹彩情報(生体情報)は、一時的にRAM24やHDD26等の記憶部に記憶される。虹彩情報削除要求信号発生部40dが、虹彩情報削除要求信号を発生した場合、例えば、利用者が情報処理装置10の操作席を離席した場合には、記憶した虹彩情報を削除(破棄)して、利用不可とする。虹彩情報の削除の詳細は後述する。
認証処理部42は、上述した赤外線カメラ18を介した虹彩情報の取得処理やその虹彩情報を用いた処理を実行するための詳細モジュールとして、カメラ切替部42a、虹彩情報取得部42b、虹彩情報記憶処理部42c、虹彩情報読出部42d、認証実行部42e、切替要求部42f等を備える。
カメラ切替部42aは、認証処理部42側における赤外線カメラ18の利用権限の切り替え及び赤外線カメラ18との接続切替制御を行う。前述したように本実施形態の場合、赤外線カメラ18の利用権限は、通常、例えば、視線処理部40が有する。したがって、認証処理のために虹彩情報を取得する必要が生じた場合には、視線処理部40側で優先的に利用している赤外線カメラ18の利用権限を一時的に認証処理部42側に移動させる必要がある。また、カメラ切替部42aは、認証情報の取得が完了した場合、速やかに赤外線カメラ18の利用権限を視線処理部40に返却する。
虹彩情報取得部42bは、赤外線カメラ18の利用権限が認証処理部42にある場合、赤外線カメラ18を介して、表示部12(表示画面12a)を覗き込んでいる利用者(瞳)の撮影を行い、虹彩情報(虹彩パターン)を取得する。
虹彩情報記憶処理部42cは、虹彩情報取得部42bが取得した、現在、表示部12(表示画面12a)を覗き込んでいる利用者の虹彩情報を一時的にRAM24やHDD26の記憶部に記憶させる記憶処理を実行する。また、虹彩情報記憶処理部42cは、虹彩情報削除要求信号発生部40dが発生した虹彩情報削除要求信号を取得した場合、記憶部に記憶した虹彩情報を速やかに削除する削除処理を実行する。したがって、基本的には、RAM24やHDD26等の記憶部には、現在、表示部12(表示画面12a)を覗き込んでいる利用者の虹彩情報が一つのみ記憶されることになる。なお、情報処理装置10の正規利用者であることを示す基準虹彩情報は、HDD26等に記憶され、正規利用者による削除操作が行われた場合や、所定の削除条件、例えば期間的条件等が満たされた場合に削除される。虹彩情報記憶処理部42cが記憶する認証情報は、虹彩情報取得部42bが取得した赤外線カメラ18の撮影した生データでもよいし、認証実行部42eによって心証された認証済みデータでもよい。なお、セキュリティ性を考慮すると、虹彩情報記憶処理部42cは、認証情報として、認証前の虹彩情報(生データ)を記憶し、認証が必要な場合、その都度、認証常用(生データ)を用いて認証処理を実行することが望ましい。虹彩情報を一時的に記憶する記憶部は、RAM24やHDD26に限られず、虹彩情報(生体情報)専用の記憶部に記憶するようにしてもよい。
虹彩情報読出部42dは、視線処理部40(視線取得部40b)による視線情報の取得処理中に認証処理を実行する場合、虹彩情報記憶処理部42cによってRAM24やHDD26等の記憶部に記憶された虹彩情報を読み出す。つまり、虹彩情報削除要求信号発生部40dが虹彩情報削除要求信号を発生していない状況、つまり、表示画面12aを覗き込む利用者が入れ替わっていないと見なされる場合には、虹彩情報読出部42dは記憶部に記憶された、現在、表示画面12aを覗き込んでいる利用者を初回に撮像して得た虹彩情報を読み出す。
認証実行部42eは、虹彩情報読出部42dが、RAM24やHDD26等の記憶部から読み出した虹彩情報を用いて、周知の虹彩(生体)認証を実行する。虹彩は、指紋と同様に人間ごとに異なる固有パターンを有している。認証処理部42は、HDD26等に予め正規利用者の基本虹彩情報を登録しておく。そして、認証実行部42eは、基本虹彩情報と、RAM24やHDD26から読み出した虹彩情報、つまり、現在、表示部12(表示画面12a)に対面して、情報処理装置10を利用しようとしている人間(利用者)の虹彩情報との比較を行う。基本虹彩情報と、現在取得した虹彩情報とが一致した場合のみ、認証実行部42eは、情報処理装置10を使用しようとしている人間が、正規利用者であると判定する。そして、認証実行部42eは、認証肯定信号を出力し、情報処理装置10の利用や、特定ファイルやデータの書き換え、パスコードの入力の省略等を許容する。その結果、情報処理装置10のセキュリティ性の向上とともに利便性の向上が可能になる。
切替要求部42fは、赤外線カメラ18の利用権限の切り替えを示す切替信号の管理を行う。例えば、記憶部の虹彩情報の記憶の有無に応じて、視線処理部40に対して、赤外線カメラ18の利用可否を示す切替情報を提供する。前述したように、視線処理部40は、基本的には優先的に赤外線カメラ18の利用権限を有し、赤外線カメラ18に常時接続されていることが前提となる。そのための、視線処理部40は、赤外線カメラ18との接続が認証処理部42からの要求によって一時的に未接続になっている状態か、赤外線カメラ18の不具合や接続不良等によって未接続の状態になっているかを正確に検出する必要がある。そこで、認証処理部42は、切替要求部42fを備え、認証処理部42による赤外線カメラ18の利用の有無を明確にしている。そのため、切替要求部42fは利用要求信号発生部42f1と利用完了信号発生部42f2を備える。
利用要求信号発生部42f1は、認証実行部42eにおいて認証処理が必要になったときに、虹彩情報読出部42dによって虹彩情報が読み出せない場合(RAM24やHDD26に虹彩情報が記憶されていない場合)に、利用要求信号(第一の要求信号と称する場合もある)を発生する。例えば、情報処理装置10が起動して、初回に認証処理を行う場合や、虹彩情報削除要求信号発生部40dによって、虹彩情報削除要求信号が発生され、記憶部の虹彩情報が削除されている場合等である。視線処理部40側のカメラ切替部40aは、利用要求信号を受け付けることにより、赤外線カメラ18の利用権限の移動を確実に行うことができる。
利用完了信号発生部42f2は、利用要求信号発生部42f1によって利用要求信号が発生された後、虹彩情報取得部42bが赤外線カメラ18を利用して認証に十分利用可能な状態の虹彩情報が取得できた場合に、利用完了信号を発生する。そして、利用完了信号発生部42f2は、視線処理部40側のカメラ切替部40aに利用完了信号を提供する。その結果、視線処理部40側のカメラ切替部40aは、認証処理部42による赤外線カメラ18の利用が終了して、赤外線カメラ18の利用権限が復帰できる状態であることを確実に検出することができる。
このように、認証処理部42が、利用要求信号及び利用完了信号(切替信号と称する場合もある)を発生して、視線処理部40側のカメラ切替部40aに提供することにより、カメラ切替部40aは、赤外線カメラ18の切替管理を正確かつスムーズに行うことが可能になる。その結果、視線処理部40側で赤外線カメラ18が利用できない原因が、認証処理部42の利用に起因するのか、赤外線カメラ18の故障や接続不良等に起因しているのかを正確に検出することができる。
上述のように構成される情報処理装置10の処理の流れを図3および図4のフローチャートを用いて説明する。なお、図3は、情報処理装置10のCPU20で実現される視線処理部40における視線処理の流れ説明する例示的なフローチャートである。また、図4は、情報処理装置10のCPU20で実現される認証処理部42における認証処理の流れ説明する例示的なフローチャートである。
まず、図3を用いて視線処理の流れを説明する。
情報処理装置10のCPU20は、情報処理装置10の電源スイッチ(SW)がONされた場合(S100のYes)、視線処理用アプリケーション(視線アプリ)を起動する(S102)。なお、情報処理装置10の電源スイッチがONされない場合(S100のNo)、図3のフローチャートのS100以降の処理は実行されない。
視線アプリが起動すると視線処理部40は、赤外線カメラ18を利用し(S104)、視線取得部40bは視線情報を取得し、視線利用処理を開始する(S106)。例えば、情報処理装置10の起動直後の場合、視線利用処理部40cは、利用者の視線の動きを利用して、ログイン画面等の操作を実行する。また、既に情報処理装置10にログインしている場合には、視線利用処理部40cは、アプリケーションの起動や操作、アイコンの選択等を視線の動きを用いて実行する。
視線取得部40bの視線追跡部40b1は、視線使用処理の実行中、常時視線位置(注視位置)の追跡を行い、所定期間以上視線情報が取得されていないか確認する(S108)、所定期間以上(例えば、10秒以上)視線情報が取得できない場合(S108のYes)、つまり、利用者の視線が表示画面12aから継続的に外れた場合等、虹彩情報削除要求信号発生部40dは、虹彩情報削除要求信号を発生する(S110)。発生された虹彩情報削除要求信号は、視線処理部40の虹彩情報記憶処理部42cに提供される。
S108において、所定期間以上視線情報が取得されていないことがない場合(S108のNo)、つまり、視線情報の取得が継続的に行われている場合は、カメラ切替部40aは、視線処理部40側から赤外線カメラ18の利用要求が来ているか確認する(S112)。視線処理部40側から赤外線カメラ18の利用要求が来ていない場合(S112のNo)、視線処理部40は、情報処理装置10がログオフされたか確認する(S114)。情報処理装置10がログオフされていない場合(S114のNo)、視線処理部40は、S104の処理に移行し、S104以降の視線情報取得および視線利用処理を継続する。
S114において、情報処理装置10がログオフされた場合(S114のYes)、虹彩情報削除要求信号発生部40dは、ログオフ時の虹彩情報削除要求信号を発生し(S116)、情報処理装置10の電源スイッチがOFFされているか確認する(S118)。S118において、情報処理装置10の電源スイッチがOFFされていない場合(S118のNo)、視線処理部40は、S104の処理に移行し、引き続き視線情報取得および視線利用処理を継続する。つまり、次のログイン処理のために待機する。S118において、情報処理装置10の電源スイッチがOFFされた場合(S118のYes)、このフローを一旦終了する。
S112において、視線処理部40側から赤外線カメラ18の利用要求が来ている場合(S112のYes)、カメラ切替部40aは視線処理部40による赤外線カメラ18の利用を中断する(S120)。つまり、認証処理部42側に赤外線カメラ18の利用権限を渡し、認証処理部42側で赤外線カメラ18が利用可能な状態にする。そして、カメラ切替部40aは、赤外線カメラ18の利用権限を認証処理部42に渡した後、認証処理部42側から赤外線カメラ18の利用完了通知(利用完了信号)を取得したか確認する(S122)。視線処理部40は、カメラ切替部40aが使用完了通知(利用完了信号)を取得した場合(S122のYes)、S114に移行し、情報処理装置10がログオフされたか否かの確認を行う。ログオフされていない場合は、S104に移行して、カメラ切替部40aは、赤外線カメラ18の利用権限を復帰させ、赤外線カメラ18の利用を再開し、視線情報取得および視線利用処理を再度実行する。S114でログオフされている場合には、S116以降の処理を実行する。
S122において、カメラ切替部40aは、認証処理部42側から赤外線カメラ18の利用完了通知(利用完了信号)を取得していない場合(S122のNo)、赤外線カメラ18の利用要求が来てから利用完了通知(利用完了信号)を取得しないまま所定期間経過したか否か確認する(S124のNo)。例えば、赤外線カメラ18の利用要求が来てから利用完了通知(利用完了信号)を受け取ることなく、60秒が経過した場合(S124のYes)、視線処理部40は、認証処理部42側で虹彩認証処理に何らかのエラーが発生したと見なす。この場合、視線処理部40は、例えば、表示画面12aに虹彩認証エラーの表示を行い(S126)、利用者の注意喚起を行いつつ、S114に移行し、情報処理装置10がログオフされたか否かの確認を行う。ログオフされていない場合は、S104に移行して、カメラ切替部40aは、赤外線カメラ18の利用権限を復帰させ、赤外線カメラ18の利用を再開し、視線情報取得および視線利用処理を再度実行する。つまり、虹彩認証のエラー対応において視線による操作を許容する状態として、情報処理装置10の操作性の向上に寄与できるようにする。S114でログオフされている場合には、S116以降の処理を実行する。
続いて、図4を用いて認証処理の流れを説明する。
情報処理装置10の電源スイッチ(SW)がオンされると、認証処理部42は、まず、虹彩認証処理用アプリケーション(虹彩認証アプリ)を起動する(S200)。そして、情報処理装置10のCPU20は、情報処理装置10のログイン操作が行われたか否かの判定を行う(S202)。情報処理装置10のログイン操作が行われていない場合(S202のNo)、図4のフローチャートのS202以降の処理は実行されない。
S202において、情報処理装置10のログイン操作が行われた場合(S202のYes)、認証処理部42の認証実行部42eは、CPU20が実行する他のアプリケーションや情報処理装置10のシステムから虹彩認証の要求が来ているか確認する(S204)。虹彩認証の要求が来ている場合(S204のYes)、虹彩情報記憶処理部42cは、視線処理部40側から虹彩情報削除要求信号が来ているか否か確認する(S206)。認証実行部42eは、虹彩情報削除要求信号を受け取っている場合(S206のYes)、RAM24やHDD26等の記憶部に虹彩情報が記憶されているか否かの確認を行い、記憶されている場合には、その虹彩情報を(全て)削除する(S208)。
S206において、視線処理部40側から虹彩情報削除要求信号が来ていない場合(S206のNo)、RAM24やHDD26等の記憶部に虹彩情報が記憶されているか否かを確認する(S210)。記憶部に虹彩情報が記憶されている場合(S210のYes)、虹彩情報読出部42dは、記憶部に記憶された虹彩情報が読み出し(S212)、認証実行部42eは、読み出した虹彩情報を用いて虹彩認証処理を実行する(S214)。認証結果は、認証の要求元に提供され、虹彩認証が肯定された場合には、認証要求元でのアプリケーションの実行や特定ファイルの閲覧や更新等、虹彩認証によるセキュリティチェックを必要とする処理が実行可能となる。一方、虹彩認証が否定された場合には、認証要求元でのアプリケーションの実行や特定ファイルの閲覧や更新等が不可となる。
S214によける認証処理の実行後、認証処理部42は、情報処理装置10がログオフされたか確認する(S216)。情報処理装置10がログオフされていない場合(S216のNo)、認証処理部42は、S204の処理に移行し、虹彩認証の要求に対し待機し、要求が来た場合には、以降の処理を繰り返し実行する。また、S216において、情報処理装置10がログオフされた場合(S216のYes)、CPU20はログオフ処理を行い(S218)、図4のフローを一旦終了する。
S210において、RAM24やHDD26等の記憶部に虹彩情報が記憶されていない場合(S210のNo)、利用要求信号発生部42f1は、赤外線カメラ18の利用要求信号を発生し(S220)、視線処理部40のカメラ切替部40aに提供する。赤外線カメラ18の利用要求信号を受け取ることにより、カメラ切替部40aは、赤外線カメラ18の利用権限を一旦認証処理部42側に移行させることが可能になるので、認証処理部42のカメラ切替部42aは、赤外線カメラ18の利用権限を獲得し、赤外線カメラ18の利用を開始する(S222)。その結果、虹彩情報取得部42bは、赤外線カメラ18を介して虹彩情報の取得処理を行い、取得が完了するまで取得処理を継続する(S224のNo)。虹彩情報の取得が完了した場合(S224のYes)、虹彩情報記憶処理部42cは、虹彩情報取得部42bが取得した虹彩情報をRAM24やHDD26等の記憶部に記憶させる(S226)。そして、利用完了信号発生部42f2は、利用完了信号を発生し視線処理部40側のカメラ切替部42aに利用完了信号を提供(通知)し(S228)、赤外線カメラ18の利用権限を視線処理部40側に戻す。
S228で利用完了信号を通知した後、S212に移行し、虹彩情報読出部42dは新規の記憶された虹彩情報を記憶部から読み出し、S212以降の処理を実行する。
S204において、認証実行部42eが虹彩認証要求を受け取っていない場合(S204のNo)、S216に移行し、S216以降の処理を実行する。
このように、実施形態の情報処理装置10によれば、視線処理部40の視線追跡部40b1で、現在、情報処理装置10を利用している(表示部12を覗き込んでいる)利用者の視線情報が取得できている間は、一度取得した現在の利用者の虹彩情報を記憶部に記憶しておく。そして、虹彩認証が必要になった場合には、記憶しておいいた虹彩情報を用いて虹彩認証を実行する。その結果、虹彩認証が必要になった場合に、視線処理部40側で赤外線カメラ18の利用が中断されてしまうことが防止され、視線利用処理を継続的に行うことができる。換言すれば、利用者が表示画面12aから視線を外さない限り、認証処理部42は赤外線カメラ18を利用することなく、セキュリティ性の高い虹彩認証を実行することができる。
一方、認証処理部42では、視線追跡部40b1で、現在、情報処理装置10を利用している利用者の視線情報が取得できなくなった場合、つまり、利用者が表示画面12aから視線を外した場合や、離席した場合は、記憶部に記憶した虹彩情報を破棄する。その結果、情報処理装置10の利用のために表示部12の正面に着座して表示画面12aを覗き込む新たな利用者が現れた場合には、赤外線カメラ18を一時的に利用して新規の虹彩情報を取得及び記憶部への記憶を行う。その結果、利用者の入れ替わりによる誤認証や不正認証を回避しやすく、虹彩認証のセキュリティ性の確保を確実に行うことができる。
なお、認証処理部42が赤外線カメラ18を利用して、虹彩情報の取得を行う場合、視線処理部40側は赤外線カメラ18の利用ができない。つまり、視線情報を用いた視線利用処理が一時的に中断され、情報処理装置10の利用が制限される。この場合、CPU20は、表示部12の表示画面12a上に「赤外線カメラに視線を向けてください。」等のメッセージを表示したり、音声等により同様な案内を出力したりする。その結果、情報処理装置10の利用者は、視線を赤外線カメラ18に向けるため、情報処理装置10で視線によりポインタ等が移動できないということを認識させ難くすることが可能になり、使用者に情報処理装置10が視線で操作できない違和感や煩わしさを与え難くすることができる。
上述したように、本実施形態の情報処理装置10は、視線処理部40と、認証処理部42とRAM24やHDD26等の記憶部とを備える。視線処理部40は、表示部12の表示画面12aにおける利用者の注視位置に対応する視線情報を赤外線カメラ18(共用撮像部)を用いて取得して視線利用処理を実行する。認証処理部42は、利用者の識別のために利用者の顔の生体情報(例えば瞳の虹彩情報)を赤外線カメラ18(共用撮像部)を用いて取得して認証処理を実行する。RAM24やHDD26等の記憶部は、認証処理部が取得した生体情報(例えば虹彩情報)を一時的に記憶する。そして、認証処理部42は、視線処理部40による視線情報の取得処理中に認証処理を実行する場合、記憶部に記憶された生体情報(虹彩情報)を読み出して認証処理を実行する。
このように、本実施形態の情報処理装置10によれば、認証処理部42が取得した生体情報(例えば虹彩情報)を一時的にRAM24やHDD26等の記憶部に記憶しておく。そして、認証処理部42は、視線処理部40による視線情報の取得処理中に認証処理を実行する場合、RAM24やHDD26等の記憶部に記憶された生体情報を読み出して認証処理を実行する。したがって、認証処理部42による生体認証(例えば光彩認証)を実行する場合でも、視線処理部40による視線情報の取得を妨げにくくすることができる。その結果、視線情報を用いた操作性向上と生体情報を用いたキュリティ性向上の両立をさせ易く、コストの増加や構成の煩雑化を抑制することできる。
また、認証処理部42は、RAM24やHDD26等の記憶部に生体情報(例えば虹彩情報)が記憶されていない場合、視線処理部40に対して赤外線カメラ18(共用撮像部)の利用を一時的に中断させる利用要求信号(第一の要求信号)を提供する。そして、利用が中断された赤外線カメラ18(共用撮像部)を利用して生体情報を取得する。この構成によれば、例えば、赤外線カメラ18の使い分けをスムーズに行うことが可能となり、視線情報を用いた操作性向上と生体情報を用いたキュリティ性向上の両立をさらに容易かつ確実に行うことができる。
また、視線処理部40は、視線情報が所定期間以上取得されない場合、RAM24やHDD26等の記憶部に記憶された生体情報(例えば虹彩情報)を削除させる生体(虹彩)情報削除要求信号(第二の要求信号)を出力する。この構成によれば、例えば、利用者の視線が表示部12(表示画面12a)から外れた場合や情報処理装置10の操作席から離席した場合、記憶部から生体情報を削除し、記憶部から生体情報を読み出して簡易的に行う虹彩認証を中止する。その結果、確実なセキュリティ性の確保を行うことができる。
また、認証処理部42は、RAM24やHDD26等の記憶部の生体情報(例えば虹彩情報)の記憶の有無に応じて、視線処理部40に対して、赤外線カメラ18(共用撮像部)の利用可否を示す利用要求信号および利用完了信号(切替情報)を提供する。この構成によれば、例えば、視線処理部40における赤外線カメラ18の切り替えをスムーズかつ確実に行うことができる。例えば、視線処理部40側で赤外線カメラ18が利用できない原因が、認証処理部42の利用に起因するのか、赤外線カメラ18の故障や接続不良等に起因しているのかを正確に検出することができる。
また、本実施形態の情報処理プログラムによれば、視線処理と、生体(虹彩)情報取得処理と、記憶処理と認証処理とを情報処理装置10に実行させる。視線処理は、表示部12の表示画面12aにおける利用者の注視位置に対応する視線情報を赤外線カメラ18(共用撮像部)を用いて取得して視線利用処理を実行する。生体(虹彩)情報取得処理は、利用者の識別のために利用者の顔の生体情報(例えば瞳の虹彩情報)を赤外線カメラ18(共用撮像部)を用いて取得する。記憶処理は、取得した生体情報をRAM24やHDD26等の記憶部に一時的に記憶させる。認証処理は、視線情報の取得処理中に利用者の識別が必要な場合に、RAM24やHDD26等の記憶部に記憶された生体情報を読み出して認証処理を実行する。
このように、本実施形態の情報処理プログラムによれば、生体(虹彩)情報取得処理により取得した生体情報(例えば虹彩情報)を記憶処理で一時的にRAM24やHDD26等の記憶部に記憶しておく。そして、認証処理において、視線処理による視線情報の取得処理中に認証処理を実行する場合、RAM24やHDD26等の記憶部に記憶された生体情報を読み出して認証処理を実行する。したがって、認証処理による生体認証を実行する場合でも、視線処理による視線情報の取得を妨げ難くすることができる。その結果、視線情報を用いた操作性向上と生体情報を用いたキュリティ性向上の両立をさせ易く、コストの増加や構成の煩雑化を抑制することできる。
なお、上述した実施形態では、視線追跡部40b1で視線情報が追跡できなくなった場合、所定期間として例えば10秒以上視線情報が取得できない場合、虹彩情報削除要求信号発生部40dにより虹彩情報削除要求信号を発生する例を示した。別の実施形態では、虹彩情報削除要求信号を発生する所定期間は、適宜変更可能であり、例えば、視線情報が取得できない場合に即虹彩情報削除要求信号を発生するようにしてもよい。この場合、認証処理部42による赤外線カメラ18の利用要求頻度は増加するが、セキュリティ性をさらに向上させることができる。
また、上述した実施形態では、生体認証の一例として虹彩認証を行う場合を示し、記憶部には、生体情報に一例として虹彩情報を一時的に記憶する場合を示した。生体認証及び記憶部に一時的に記憶する生体情報は、視線情報を取得する共通撮像部である赤外線カメラ18が取得可能な生体情報を用いた制定認証及び生体情報であれば、上述した実施形態の構成が適用可能であり、同様の効果を得ることができる。例えば、生体情報として顔情報を取得し、顔認証を実行する際に、顔情報を一時的に記憶しておき、顔認証時に顔情報を読み出して利用するようにしてもよく、本実施形態と同様な効果を得ることができる。
本実施形態の10(CPU20)で実行される情報処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される情報処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
なお、上述した実施形態では、情報処理装置10の一例として、表示部12が別体となっている据置型のパーソナルコンピュータ(パソコン)を示した。別の例では、情報処理装置10として、例えば、表示部一体型の据置型パソコンや、携帯型のノートパソコン、タブレット端末、スマートフォン、携帯電話等、さらに、表示画面上でポインタの移動やポインタによる位置指定による入力が可能な装置で、かつ生体認証(例えば虹彩認証)が必要な装置(家電製品やゲーム機等を含む)であれば、上述した本実施形態の構成を適用可能であり、同様の効果を得ることができる。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10… 情報処理装置、12…表示部、12a…表示画面、18…赤外線カメラ、20…CPU、22…ROM、24…RAM、26…HDD、40…視線処理部、40a…カメラ切替部、40b…視線取得部、40b1…視線追跡部、40c…視線利用処理部、40d…虹彩情報削除要求信号発生部、42…認証処理部、42a…カメラ切替部、42b…虹彩情報取得部、42c…虹彩情報記憶処理部、42d…虹彩情報読出部、42e…認証実行部、42f1…利用要求信号発生部、42f…切替要求部、42f2…利用完了信号発生部。
本発明の第1態様に係る情報処理装置は、表示部の表示画面における利用者の注視位置に対応する視線情報を共用撮像部を用いて取得して視線利用処理を実行する視線処理部と、前記利用者の識別のために前記利用者の顔の生体情報を前記共用撮像部を用いて取得して認証処理を実行する認証処理部と、前記認証処理部が取得した前記生体情報を一時的に記憶する記憶部と、を備え、前記認証処理部は、前記視線処理部による前記視線情報の取得処理中に前記認証処理を実行する場合、前記記憶部に記憶された前記生体情報を読み出して前記認証処理を実行し、前記記憶部に前記生体情報が記憶されていない場合、前記視線処理部に対して前記共用撮像部の利用を一時的に中断させる第一の要求信号を提供し、利用が中断された前記共用撮像部を利用して前記生体情報を取得する。
また、情報処理装置の前記視線処理部は、例えば、前記視線情報が所定期間以上取得されなくなった場合、前記記憶部に記憶された前記生体情報を削除させる第二の要求信号を出力するようにしもよい。
本発明の第2態様に係る情報処理プログラムは、表示部の表示画面における利用者の注視位置に対応する視線情報を共用撮像部を用いて取得して視線利用処理を実行する視線処理と、前記利用者の識別のために前記利用者の顔の生体情報を前記共用撮像部を用いて取得する生体情報取得処理と、取得した前記生体情報を記憶部に一時的に記憶させる記憶処理と、前記視線情報の取得処理中に前記利用者の識別が必要な場合に、前記記憶部に記憶された前記生体情報を読み出して認証処理を実行する認証処理と、を、情報処理装置に実行し、前記記憶部に前記生体情報が記憶されていない場合、前記視線処理に対して前記共用撮像部の利用を一時的に中断させる第一の要求信号を提供し、利用が中断された前記共用撮像部を利用して前記生体情報を取得する処理を実行させる。

Claims (5)

  1. 表示部の表示画面における利用者の注視位置に対応する視線情報を共用撮像部を用いて取得して視線利用処理を実行する視線処理部と、
    前記利用者の識別のために前記利用者の顔の生体情報を前記共用撮像部を用いて取得して認証処理を実行する認証処理部と、
    前記認証処理部が取得した前記生体情報を一時的に記憶する記憶部と、
    を備え、
    前記認証処理部は、前記視線処理部による前記視線情報の取得処理中に前記認証処理を実行する場合、前記記憶部に記憶された前記生体情報を読み出して前記認証処理を実行する、情報処理装置。
  2. 前記認証処理部は、前記記憶部に前記生体情報が記憶されていない場合、前記視線処理部に対して前記共用撮像部の利用を一時的に中断させる第一の要求信号を提供し、利用が中断された前記共用撮像部を利用して前記生体情報を取得する、請求項1に記載の情報処理装置。
  3. 前記視線処理部は、前記視線情報が所定期間以上取得されない場合、前記記憶部に記憶された前記生体情報を削除させる第二の要求信号を出力する、請求項1または請求項2に記載の情報処理装置。
  4. 前記認証処理部は、前記記憶部の前記生体情報の記憶の有無に応じて、前記視線処理部に対して、前記共用撮像部の利用可否を示す切替情報を提供する、請求項1から請求項3のいずれか1項に記載の情報処理装置。
  5. 表示部の表示画面における利用者の注視位置に対応する視線情報を共用撮像部を用いて取得して視線利用処理を実行する視線処理と、
    前記利用者の識別のために前記利用者の顔の生体情報を前記共用撮像部を用いて取得する生体情報取得処理と、
    取得した前記生体情報を記憶部に一時的に記憶させる記憶処理と、
    前記視線情報の取得処理中に前記利用者の識別が必要な場合に、前記記憶部に記憶された前記生体情報を読み出して認証処理を実行する認証処理と、
    を、情報処理装置に実行させる、情報処理プログラム。
JP2021175789A 2021-10-27 2021-10-27 情報処理装置および情報処理プログラム Active JP7319561B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021175789A JP7319561B2 (ja) 2021-10-27 2021-10-27 情報処理装置および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021175789A JP7319561B2 (ja) 2021-10-27 2021-10-27 情報処理装置および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2023065150A true JP2023065150A (ja) 2023-05-12
JP7319561B2 JP7319561B2 (ja) 2023-08-02

Family

ID=86281762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021175789A Active JP7319561B2 (ja) 2021-10-27 2021-10-27 情報処理装置および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7319561B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
CN206594689U (zh) * 2017-03-31 2017-10-27 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
JP2019012454A (ja) * 2017-06-30 2019-01-24 株式会社デンソー ドライバ監視支援装置、ドライバ監視支援制御装置、ドライバ監視支援方法、及びドライバ監視支援装置制御方法
JP2019032640A (ja) * 2017-08-07 2019-02-28 シャープ株式会社 生体認証装置、制御装置、制御方法、および、プログラム
JP2019046047A (ja) * 2017-08-31 2019-03-22 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
WO2021100214A1 (ja) * 2019-11-21 2021-05-27 株式会社スワローインキュベート 情報処理方法、情報処理装置、及び制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
CN206594689U (zh) * 2017-03-31 2017-10-27 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
JP2019012454A (ja) * 2017-06-30 2019-01-24 株式会社デンソー ドライバ監視支援装置、ドライバ監視支援制御装置、ドライバ監視支援方法、及びドライバ監視支援装置制御方法
JP2019032640A (ja) * 2017-08-07 2019-02-28 シャープ株式会社 生体認証装置、制御装置、制御方法、および、プログラム
JP2019046047A (ja) * 2017-08-31 2019-03-22 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
WO2021100214A1 (ja) * 2019-11-21 2021-05-27 株式会社スワローインキュベート 情報処理方法、情報処理装置、及び制御プログラム

Also Published As

Publication number Publication date
JP7319561B2 (ja) 2023-08-02

Similar Documents

Publication Publication Date Title
JP7092911B2 (ja) 携帯装置において利用されるスキャンアンドペイ方法と装置
US10430460B2 (en) Metadata-based photo and/or video animation
JP6722272B2 (ja) 凝視情報を使用するユーザの識別および/または認証
CN107609369B (zh) 基于面部识别登录到计算设备
EP2637076B1 (en) Automatic ending of interactive whiteboard sessions
US10956734B2 (en) Electronic device providing iris recognition based on proximity and operating method thereof
KR20180062690A (ko) 전자 장치 및 그 동작 방법
JP2015167022A (ja) 電子デバイスに組み込まれた認証システム
US11601419B2 (en) User interfaces for accessing an account
WO2014201831A1 (en) Wearable smart glasses as well as device and method for controlling the same
JP7487372B2 (ja) 改良されたデータ制御及びアクセスの方法及びシステム
KR20210119555A (ko) 잠금 모드, 중급 모드, 그리고 해제 모드에서의 데이터 처리 단말들과 관련된 방법들
KR20180029365A (ko) 개인 정보를 보호하기 위한 방법 및 그 전자 장치
JP2014119897A (ja) 情報処理装置、ロック実行方法、及びロック実行プログラム
US10257229B1 (en) Systems and methods for verifying users based on user motion
US20140368432A1 (en) Wearable smart glasses as well as device and method for controlling the same
JP7319561B2 (ja) 情報処理装置および情報処理プログラム
JP2012190096A (ja) 情報処理装置およびその制御方法
US20140007226A1 (en) Electric apparatus, authentication device and authentication method
US20140282836A1 (en) Enterprise device policy management
JP6172765B2 (ja) 通知制御装置、通知制御方法及び通知制御プログラム
US10956604B2 (en) Electronic device and operation method thereof
US20230385431A1 (en) Mapping a tangible instance of a document
US11762464B1 (en) Method for inputting characters with eye gazes, host, and computer readable storage medium
JP2006155513A (ja) 個人認証機能を用いたアクセス管理システム、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R150 Certificate of patent or registration of utility model

Ref document number: 7319561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150