JP2020197849A - 情報処理装置、制御方法およびプログラム - Google Patents

情報処理装置、制御方法およびプログラム Download PDF

Info

Publication number
JP2020197849A
JP2020197849A JP2019102880A JP2019102880A JP2020197849A JP 2020197849 A JP2020197849 A JP 2020197849A JP 2019102880 A JP2019102880 A JP 2019102880A JP 2019102880 A JP2019102880 A JP 2019102880A JP 2020197849 A JP2020197849 A JP 2020197849A
Authority
JP
Japan
Prior art keywords
login
face
user
displayed
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019102880A
Other languages
English (en)
Other versions
JP7330766B2 (ja
Inventor
泰弘 細田
Yasuhiro Hosoda
泰弘 細田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019102880A priority Critical patent/JP7330766B2/ja
Priority to CN202010441623.8A priority patent/CN112016070A/zh
Priority to US16/885,037 priority patent/US20200380103A1/en
Publication of JP2020197849A publication Critical patent/JP2020197849A/ja
Application granted granted Critical
Publication of JP7330766B2 publication Critical patent/JP7330766B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1238—Secure printing, e.g. user identification, user rights for device usage, unallowed content, blanking portions or fields of a page, releasing held jobs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Facsimiles In General (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】 顔認証は、１００％成功するわけではなく、認証に失敗したり、候補者が一人に絞り込みできなかったりする場合にログインができない課題がある。【解決手段】 顔認証機能と顔認証の失敗に対応する別のログイン機能を提供し、ユーザが戸惑うことなく情報処理装置にログインすることを可能とした利便性の高い情報処理装置を提供することを目的とする。【選択図】 図５

Description

本発明は、顔認証ログイン機能を備えた情報処理装置、制御方法およびプログラムに関する。
顔認証ログイン機能を備えた情報処理装置が知られている（特許文献１参照）。また、複数のユーザのボタンを画面に表示して、ユーザが自分のボタンを押下する簡易なログイン機能を提供する情報処理装置がある（特許文献２参照）。
特開２０１５−３５１７８ 特開２０１５−２２７０４８
顔認証によるログインは１００％成功するわけではなく、顔認証に失敗する他、顔認証の結果ログインするユーザの候補者を一人に絞り込みできず、ユーザがログインできないという課題がある。そこで、複数のユーザのボタンを画面に表示してユーザに自分のボタンを選択させてログインさせる機能（シンプルログイン機能と称す）と併用する形態を考えるが、ユーザが自分のボタンを探す手間がかかるため単なる２つの併用では適切ではない。
本発明は、上記課題を鑑みてなされたもので、顔認証ログイン機能とシンプルログイン機能の２つを提供し、ユーザが戸惑うことなく情報処理装置にログインすることを可能とし、利便性を向上させることを目的とする。
本発明の一実施形態に係る情報処理装置は、カメラでユーザを撮影することで取得した顔データを基に顔認証し特定されたユーザをログインさせる顔認証ログイン機能と、複数のユーザのボタンが表示されているログイン画面の中から選択されたボタンを基にユーザを特定しログインさせるシンプルログイン機能を提供する情報処理装置であって、前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能を有効にする設定を受け付ける設定手段を有し、前記情報処理装置で前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能が有効となっている場合、顔認証の結果がログインさせる条件を満たす結果だったことに応じて、ログイン処理を行いログイン後の画面を表示し、顔認証の結果がログインさせる条件を満たす結果ではなかったことに応じて、顔認証の結果から得られた１または複数の候補者のボタンを前記ログイン画面に表示し、ボタンが選択されたことでログイン処理を行いログイン後の画面を表示することを特徴とする。
本発明によれば、顔認証ログイン機能とシンプルログイン機能の２つを提供し、ユーザが戸惑うことなく情報処理装置にログインすることを可能とし、利便性を向上させることが可能となる。
システム構成を示す図である。 ＭＦＰ１０１のハードウェア構成を示す図である。 システムにおけるソフトウェア構成を示す図である。 ＭＦＰ１０１の操作部に表示されるユーザインタフェースを示す図である。 顔認証処理を示すフローチャートである。 顔認証後のシンプルログイン画面を示す図である。 複数の顔を検知した際の撮影画像を示す図である。
以下、本発明を実施するための形態について図面を用いて説明する。
［実施形態１］
＜システム構成＞
図１は、本発明を適用した画像形成装置を含むシステムを示す構成図である。ＭＦＰ１０１はＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）であり本発明を適用した情報処理装置である。ＭＦＰ１０１はカメラユニットを用いてＭＦＰ１０１に近づくユーザを撮影し顔認証を実施する。顔認証の結果がユーザのログインを許可する特定の条件を満たす場合にＭＦＰ１０１はユーザを自動ログインさせる。自動ログインさせるだけの条件を満たさない場合は、顔認証結果を利用したシンプルログイン機能を代替ログイン手段としてユーザに提供する。
顔認証サーバ１０２は顔データを受信して顔認証を実施し、認証結果（候補者の識別子とスコア）を返却する顔認証サーバである。顔データは、撮影した顔画像そのもの、もしくは顔画像から既存の技術により顔の特徴量を抽出したデータである。ＭＦＰ１０１と顔認証サーバは、ＬＡＮやインターネットを介して接続される。本実施例では、顔認証サーバは、クラウド上の仮想サーバとして構築されたサービスであるとするが、イントラネットに設定されたサーバでも良いし、ＭＦＰ１０１内部に顔認証機能が組み込まれていても良い。なお、顔認証ログイン機能とは顔認証を行いログインさせる機能のことを指しているが、単に顔認証機能と呼称することもある。
＜ＭＦＰのハードウェア構成＞
図２は、ＭＦＰ１０１のハードウェア構成を示す簡略図である。ＣＰＵ２０１はＭＦＰ１０１全体の動作を制御する中央演算装置（プロセッサ）である。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３は揮発性メモリであり、ＲＯＭ２０２及びＨＤＤ２０４に格納された各種制御プログラムを展開するための一時記憶領域として用いられる。
ＲＯＭ２０２は不揮発性メモリであり、ＭＦＰ１０１のブートプログラムなどが格納されている。ＨＤＤ２０４はＲＡＭ２０３と比較して大容量な不揮発性のハードディスクである。ＨＤＤ２０４には、ＭＦＰの制御用プログラムが格納されている。また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラムもＨＤＤ２０４に格納されている。
ＣＰＵ２０１はＭＦＰ１０１の起動時、ＲＯＭ２０２に格納されているブートプログラムを実行する。このブートプログラムは、ＨＤＤ２０４に格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムを読み出し、ＲＡＭ２０３上に展開するためのものである。ＣＰＵ２０１はブートプログラムを実行すると、続けてＲＡＭ２０３上に展開したＯＳのプログラムを実行し、ＭＦＰ１０１の制御を行う。また、ＣＰＵ２０１は制御用プログラムによる動作に用いるデータもＲＡＭ２０３上に格納して読み書きを行う。
なお、ＭＦＰ１０１は、１つのＣＰＵ２０１が後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、複数のＣＰＵやマイクロプロセッサ（ＭＰＵ）が協働して後述するフローチャートに示す各処理を実行するようにすることもできる。また、後述する処理の一部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路を用いて実行するようにしても良い。
操作部２０５は、タッチ操作可能なディスプレイであり、後述する各種ユーザインタフェースは操作部２０５に表示される。プリンタ２０６は、通信部２０７を介して外部から受信した印刷データをプリントするプリンタエンジンである。通信部２０７は、インターネットやオフィスのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する為のネットワークインタフェースである。
ＩＣカードリーダ２０８は、ＩＣカードからユーザ認証に使用する情報を読み出す為の装置であり、ＩＣカード認証を実現するために必要なユニットである。カメラ２０９は、ＭＦＰ１０１を利用するユーザの顔を撮像する為のカメラユニットである。カメラ２０９は、ＵＳＢや無線ＬＡＮを介して接続可能な外付けのカメラであっても良い。
＜ソフトウェア構成＞
図３は、ＭＦＰ１０１、顔認証サーバ１０２のソフトウェア構成を示す簡略図である。
＜顔認証サーバ１０２のソフトウェア構成＞
顔認証サーバ１０２のソフトウェア構成について説明する。ＲＥＳＴサービス３１０は、インターネットを介して接続する端末（ＭＦＰ１０１を含む）から顔データの登録や顔認証の要求をＲＥＳＴ（ＲＥｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）で受け付けるサービスである。例えば、ＲＥＳＴで顔データとユーザ名を受信し、受信したデータとユーザ名を対応付けて顔データ管理部３１２に登録する。この際に、ユーザを識別する為のユニークなＩＤとしてＰｅｒｓｏｎａｌＩＤを発行し要求元の端末へＰｅｒｓｏｎａｌＩＤを通知する。例えば、顔データ管理部３１２は表１のように複数のユーザの顔データを管理する。
Figure 2020197849
ＲＥＳＴサービスが顔データと共に顔認証要求を受けると、顔認証部３１１は表１に示す登録者のデータを参照し、候補者と各候補者に対するスコアを算出する。スコアは受信した顔データが算出した候補者である可能性の高さを示す値をパーセンテージで示したものである。スコアは、パーセンテージではなく、自然数の数値の大きさで示しても良い。算出の結果、候補者０人と算出する場合がある。また、１人の顔データに対して複数の候補者を特定し、特定されたそれぞれの候補者のスコアを算出する場合もある。また、受信した顔データに複数人の顔データが含まれる場合は、複数人の候補者とそれぞれの候補者のスコアを算出する。算出結果は、ＲＥＳＴサービス３１０を介して端末に返却される。
このようなクラウドサービスは一般にコグニティサービスと呼ばれ、顔認証機能を提供するサービスとしてマイクロソフト社（商標）のＦａｃｅＡＰＩなどがある。例えば、ＦａｃｅＡＰＩは、表２のようなリクエストを受け付けるＲＥＳＴサービスを提供している。
Figure 2020197849
ＭＦＰ１０１は上記のようなコグニティサービスと連携することにより顔認証ログイン機能をユーザに提供することができる。
＜ＭＦＰ１０１のソフトウェア構成＞
ＭＦＰ１０１のソフトウェア構成について説明する。ＭＦＰ１０１のローカルＵＩ３０１は、操作部２０５のディスプレイを介し、ユーザがＭＦＰ１０１の設定変更や機能を利用する為のユーザインタフェースを提供する。ローカルＵＩ３０１が提供するユーザインタフェースを図４に示す。リモートＵＩ３０２は、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ機能を有し、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で構成されるユーザインタフェースをユーザに提供する。ユーザは、ユーザ端末のウェブブラウザを利用してリモートＵＩ３０２にアクセスし、ＭＦＰ１０１の設定変更や機能を利用することができる。ログインサービス３０３は、ローカルＵＩ３０１やリモートＵＩ３０２を利用するユーザを認証してＭＦＰ１０１にログインさせるソフトウェアモジュールである。ログインサービス３０３は、ローカルＵＩ３０１やリモートＵＩ３０２のユーザインタフェースを介して、ＨＤＤ２０４に管理者や一般ユーザのアカウントを登録することができる。ＨＤＤ２０４に記憶するアカウント情報の例を下記の表３に示す。ＨＤＤ２０４には、アカウント情報として、ユーザ名・パスワード・ＩＣカードのカードＩＤ・ロール（管理者／一般ユーザ）・メールアドレスなどが登録できる。なお、Ｐｅｒｓｏｎａｌ ＩＤが空白のユーザは、顔認証登録がなされていない状態であることを示す。
Figure 2020197849
ＭＦＰ１０１の工場出荷時の設定は、ユーザ認証機能は無効であり、ＭＦＰ１０１を起動すると、ローカルＵＩ３０１はアプリケーションを選択するメニュー画面４０１を表示する。なお、ユーザ認証機能と記載するが、シンプルログイン機能はユーザ認証を行わずユーザを特定しログインさせる機能であるため正確にはユーザ認証機能ではない。しかし、ＭＦＰ１０１を利用するユーザにとってはユーザ認証機能と表示する方が理解しやすいため、実施例１ではあえてこのように表示することにしている。ユーザ認証設定画面４０２から選択できるユーザ認証機能をログイン機能と称することもある。
ユーザは、メニュー画面４０１を介して、ユーザ認証設定画面４０２を表示することができる。ユーザ認証設定画面４０２では、ユーザ認証機能の有効／無効を選択することができる。また、ユーザ認証機能有効を選択した場合は、更に、キーボード認証、シンプルログイン、ＩＣカード認証、顔認証から１つもしくは複数のログイン機能を選択することができる。ユーザ認証設定画面４０２は、ユーザ認証機能を有効にしたうえで全てのログイン機能を選択した状態を示す。
顔認証を有効にした場合、顔認証でＭＦＰに自動ログインさせるスコアの閾値をテキストボックス４１３に入力し設定することができる。例えばスコアの設定は１から１００の間で数値を設定する。ユーザに数値を入力させるのではなく、大中小のような選択肢をユーザに提示して選択させるようにしても良いし、スライドバーのようなＵＩ部品で設定できるようにしても良い。ユーザが選択した設定はＨＤＤ２０４へ記憶し、ログインサービス３０３が参照し、ユーザの設定に応じたログイン機能を起動する。
全てのログイン機能（キーボード認証、シンプルログイン、ＩＣカード認証、顔認証）を有効にした場合、ローカルＵＩ３０１はシンプルログイン画面４０３を表示する。なお、ユーザは４０３の画面からでもＩＣカードをかざすことでＩＣカード認証は可能であり、かつキーボード認証もボタン４０６を選択することでキーボード認証画面４１２へ遷移し認証可能である。つまり、ログイン機能としてシンプルログイン機能が設定された場合は、ローカルＵＩ３０１は他のログイン機能が有効だとしてもシンプルログイン画面４０３を表示する。そして、シンプルログイン機能が設定されていない場合でキーボード認証のみが有効であればキーボード認証画面４１２が、ＩＣカード認証のみ有効もしくはＩＣカード認証とキーボード認証が有効であればＩＣカード認証画面４１４が表示される。ＩＣカード認証画面４１４は、キーボード認証画面４１２を表示するボタン４１５を提供する。
ログインサービス３０３はログイン機能として顔認証機能のみ有効にすることは許可していない。ローカルＵＩ３０１はユーザがユーザ認証設定画面４０２から顔認証を設定した場合は、それ以外の３つの認証設定の中から少なくとも１つ以上は設定するように画面制御する。シンプルログイン画面４０３は、登録済みのユーザのボタンを表示する。ユーザに自分のボタンを選択させることによって、ＭＦＰ１０１にユーザをログインさせることができる。この際行われるのは選択されたボタンのユーザＩＤの参照処理であり、いわゆる認証情報の検証を行う認証処理は行われない。つまり、ユーザはＩＣカードやキーボードを介した認証情報の入力を行う必要がない。
登録済みのユーザのボタンを一画面に表示しきれない場合は、複数のページに渡ってボタンを表示する。４０７は、現在表示中のページ番号とページ遷移の為のボタンである。シンプルログイン画面４０３は、ボタンのソート機能を備える。４０４は、ボタンのソート順を選択する為のドロップダウンである。例えば、名称順、登録順、最終ログイン時刻順などが選択可能とする。
４０５は、一般ユーザが自分のアカウントを登録する為のボタンである。ローカルＵＩ３０１は、新規ユーザ登録ボタン４０５の押下を検知すると、ユーザ登録画面４０８を表示する。ユーザ登録画面４０８では、新規に登録するユーザのユーザ名、パスワード、メールアドレスなどの入力を受け付ける。また、シンプルログイン画面４０３で、ユーザのボタンと共に表示するアイコンを選択する機能を提供する。また、カードＩＤの登録ボタン４０９の押下を検知した場合は、ＩＣカードリーダのドライバ３０４を介して、ＩＣカードリーダ２０８を稼働しＩＣカードのデータを読み込み可能な状態にする。ＩＣカードリーダ２０８にＩＣカードがかざされた場合は、カードＩＤを取得する。
顔画像の登録ボタン４１０の押下を検知した場合は、カメラドライバ３０５を介してカメラ２０９を稼働させ、ＭＦＰ１０１の前にいるユーザを撮像する。更に顔検知ライブラリ３０６を使用して取得した画像に対して顔検知処理を実施し、顔が写っていることを確認する。一般に、画像処理・画像解析および機械学習等の機能を持つライブラリとしてオープンソースのＯｐｅｎＣＶが一般に知られており、顔検知ライブラリ３０６としてこれらのオープンソースのライブラリを利用しても良い。ユーザ登録画面４０８において、カードＩＤおよび顔画像の登録は必須ではなく、未登録のままであっても良い。
登録ボタン４１１の押下を検知すると、上記取得した情報を、アカウント情報（表３）としてＨＤＤ２０４に登録する。顔画像の登録ボタン４１０で顔画像を含む画像を取得した場合には、顔認証サーバ通信部３０７を介して、顔認証サーバ１０２のＲＥＳＴサービスに顔データの登録要求を行う。この際、顔データは、必要に応じて顔認証サーバ１０２が対応している形式（画像ファイルや顔の特徴量だけを算出した値など）で送信する。ログインサービス３０３は、顔登録要求の応答として、ＰｅｒｓｏｎａｌＩＤを受信し、アカウント情報（表３）としてＨＤＤ２０４に登録する。
ログインサービス３０３は、アカウント情報（表３）のＰｅｒｓｏｎａｌＩＤの有無から顔画像登録済みのユーザか否かを判断することができる。ＨＤＤ２０４のアカウント情報と関連付けて顔画像ファイルや、顔画像登録済みか否かを示す情報を記録するようにしても良い。また、アカウント情報の登録に関して、複数ユーザのアカウント情報を一括登録できる機能（ＭＦＰの管理者向けのＵＩをローカルＵＩ３０１やリモートＵＩ３０２）を提供するようにしても良い。管理者が一括登録する際に使用するカードＩＤや顔画像は、ＭＦＰ１０１のＩＣカードリーダ２０８やカメラ２０９以外の装置から取得したデータであっても良い。
ログインサービス３０３がＩＣカードを検知した場合、ＨＤＤ２０４に記憶したアカウント情報を参照して、カードＩＤの一致するユーザをＭＦＰ１０１にログインさせる。また、キーボード認証を表示するボタン４０６の押下を検知した場合には、キーボード認証画面４１２を表示し、ユーザ名・パスワードの入力を受け付ける。ログインサービス３０３は、キーボード認証画面４１２に入力されたユーザ名、パスワードとＨＤＤ２０４に記憶したアカウント情報を照合し、一致するユーザをＭＦＰ１０１にログインさせる。
ログインサービス３０３は、ログインしたユーザの情報をログインコンテキストと称するオブジェクトに格納して、他のソフトウェアモジュールへ伝達する。ログインコンテキストに格納する情報の例を下記の表４に示す。ログインコンテキストには、表４に示すようにログインしたユーザのユーザ名、ロール、メールアドレスなどを格納する。
Figure 2020197849
ＭＦＰ１０１へのログインが成功した場合、ローカルＵＩ３０１は４０３などのログイン画面を閉じて、メニュー画面４０１に画面を遷移させる。メニュー画面４０１は、上記ログインコンテキストを参照し、ログインしたユーザを特定した上で、ログインしたユーザ向けのメニュー画面を提供する。メニュー画面や各種機能（コピーやスキャン）の画面は、ユーザの好みに応じてパーソナライズできる機能を提供する。
＜顔認証動作フロー＞
次に、図５のフローチャートを参照して、ログインサービス３０３が顔認証を実施する際の動作を説明する。本実施例では、課題でも記載した通り顔認証機能とシンプルログイン機能の少なくとも２つのログイン機能を有効にしている形態を想定している。ログインサービス３０３は、ＭＦＰ１０１のＣＰＵ２０１がＲＡＭ２０３にロードしたログインサービス３０３のプログラムを制御することにより実行される。
ログインサービス３０３は、ローカルＵＩ３０１にシンプルログイン画面４０３を表示するとカメラドライバを介してカメラ２０９を起動し、ＭＦＰ１０１に近づくユーザの撮影を開始する（Ｓ５０１）。ログインサービス３０３は、定期的にカメラから撮影画像を取得する（Ｓ５０２）。次に、ログインサービス３０３は、取得した撮影画像に対して顔検知ライブラリを利用して顔検知処理を実施し、顔が写っているか否かを確認し、かつ顔がいくつ写っているかを判定する（Ｓ５０３）。
検知した顔が０個の場合（顔が写っていない場合）、Ｓ５０２に戻り新たな撮影画像の取得を行う。検知した顔が１個であった場合、Ｓ５０４にて顔認証処理を行う。Ｓ５０４では、取得した撮影画像と共に顔認証要求を顔認証サーバ１０２のＲＥＳＴサービス３１０に送信し、その応答として、候補者のＰｅｒｓｏｎａｌＩＤとユーザ名、顔認証のスコアを取得する。
次に、顔認証サーバ１０２から取得した候補者の数のチェックを行う（Ｓ５０５）。取得した候補者の数が１人の場合、Ｓ５０６にて、取得したスコアが閾値以上か否かを判定する。閾値は、４１３にて設定された値である。ＭＦＰの工場出荷時のデフォルト値として、ＭＦＰのＲＯＭに予め記録された値であっても良い。スコアが閾値以上であった場合、Ｓ５０７にて、特定した１人の候補者をＭＦＰにログインさせる（Ｓ５０７）。ログイン処理Ｓ５０７では、アカウント情報（表３）を参照し、顔認証サーバ１０２から取得したユーザ名やＰｅｒｓｏｎａｌＩＤと一致するユーザのロールやメールアドレスを取得して、ログインコンテキスト（表４）を生成する。次に、ログインサービス３０３は、ローカルＵＩ３０１の画面をログイン後の画面としてメニュー画面４０１を表示し、ログインしたユーザ向けの機能を提供する（Ｓ５０８）。
Ｓ５０５において、取得した候補者の数が０人であった場合、ＭＦＰ１０１に接近したユーザは、顔画像を登録していないユーザもしくは、アカウント情報が登録されていないユーザである可能性が高いと判断できる。この為、ログインサービス３０３は、顔画像を登録していないユーザのボタンを優先的に表示するようにシンプルログイン画面をカスタマイズして表示する（Ｓ５０９）。顔認証後に、カスタマイズされたシンプルログイン画面の例を図６に示す。例えば、ＢｏｂとＦｒａｎｋが顔画像を登録していなかった場合、画面６０１のようにＢｏｂとＦｒａｎｋのボタンのみを表示する。また、アカウント情報を登録していないユーザの可能性もあるため、新規ユーザ登録ボタン４０５を強調表示するようにしても良い。
Ｓ５０５において、取得した候補者の数が１人であっても、Ｓ５０６において、取得したスコアが閾値に満たないと判定された場合、ログインサービス３０３は、その１人の候補者のボタンを優先的に表示するようにシンプルログイン画面をカスタマイズして表示する（Ｓ５１０）。例えば、その１人の候補者がＡｌｉｃｅであった場合、画面６０２のようにＡｌｉｃｅのボタンのみを表示する。Ｓ５０５において、取得した候補者の数が２人以上であった場合、スコアの高い順に候補者のボタンを優先表示する（Ｓ５１１）。例えば、Ｓ５０４で取得したユーザ名とスコアが以下の表５に示す値であった場合、ログインサービス３０３は、６０３のようにスコアの高い順Ａｌｉｃｅ、Ｃａｒｏｌの順番でボタンを表示する。画面６０３は、左から順にスコアが高いことを示している。
Figure 2020197849
Ｓ５０３において、検知した顔が２個以上であった場合、Ｓ５１２において、検知したそれぞれの顔のエッジを長方形で切り出し、長方形のサイズを比較する。大きい方が、ＭＦＰ１０１に近い位置にいるユーザであり、ＭＦＰ１０１にログインしようとしている可能性が高いと判断する。例えば、図７の撮影画像から、顔検知結果として、７０１と７０２の長方形を切り出す。図７では、７０１の顔画像の方が７０２の顔画像よりも大きい。すなわち、撮影画像における占有率が高い顔画像のユーザがログインしようとしているユーザと見なす。
次に、Ｓ５１３では、７０１の顔画像と共に、顔認証要求を顔認証サーバ１０２のＲＥＳＴサービスに送信し、その応答として、候補者のＰｅｒｓｏｎａｌＩＤとユーザ名、顔認証のスコアを取得する。更に、７０２の顔画像と共に、顔認証要求を顔認証サーバ１０２のＲＥＳＴサービス３１０に送信し、その応答として、候補者のＰｅｒｓｏｎａｌＩＤとユーザ名、顔認証のスコアを取得する。例えば、７０１の顔画像の顔認証結果として表６のユーザ名とスコアを取得し、７０２の顔画像の顔認証結果として表７のユーザ名とスコアを取得できた場合、ログインサービス３０３は、６０４のように顔画像の大きい順、スコアの高い順にボタンを並べて表示する。下記の例では、Ａｌｉｃｅのスコアが一番高いが、スコアよりも顔画像の大きさを優先する為、順番は、Ｇｒａｃｅ、Ｅｌｌｅｎ、Ａｌｉｃｅ、Ｃａｒｏｌの順番で表示する。つまり、複数の顔画像における夫々の矩形範囲に基づいて第１の表示順が確定され、次に、各顔画像に対するスコア結果に基づいて第２の表示順が確定される。
Figure 2020197849
Figure 2020197849
顔認証によりログインできなかったユーザには、シンプルログイン画面（６０１、６０２、６０３、６０４）を提供し、ボタンを押させて、ＭＦＰ１０１へログインさせる。また、他人の誤検知、誤操作、なりすましを防止する為に、顔認証によるログインまたは、シンプルログインのボタン押下によるログイン時に、パスワードを入力する画面を表示して、ユーザにパスワードを入力させるようにしても良い。
画面６０１、６０２、６０３、６０４のように優先表示するボタンのみにフィルタリングして表示した場合、顔認証の誤検知などにより、アカウント情報を登録していても自分のボタンが表示されないといったケースが考えられる。この為、シンプルログイン画面には、全てのボタンを表示するボタン６０５を表示する。
また、優先表示する候補者のボタンのみにフィルタリングして表示している場合においても多数のボタンが表示されるケースがある為、ボタンのソート機能４０４を提供する。スコア順に加えて、名称順、登録順、最終ログイン時刻順などを選択可能とする。つまり、図５の処理によりユーザのボタンはスコア順にソートはされているが、ユーザはその後任意のソート順に変更することができる。
また、優先表示するボタンのみに限定して表示するのではなく、全てのボタンを常に表示するようにしても良い。この場合、先頭から優先表示するボタンを表示し、優先表示対象ではないその他のボタンを複数ページに渡って名称順に並べて表示すると良い。
以上、説明した通り、本発明に係る画像形成装置は、顔認証によりログインさせる条件を候補者の数やスコアによって限定しており、異なるユーザが自動ログインしてしまうセキュリティリスクを低減している。また、顔認証によりログインできなかった場合であっても、可能性の高いユーザのボタンを６０１、６０２、６０３、６０４のように、優先的に表示するようにしているため、顔認証を用いないシンプルログイン画面よりも利便性が高い。
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１ 画像形成装置（ＭＦＰ）
１０２ 顔認証サーバ
３０１ ローカルＵＩ
３０２ リモートＵＩ
３０３ ログインサービス
３０４ ＩＣカードリーダドライバ
３０５ カメラドライバ
３０６ 顔検知ライブラリ
３０７ 顔認証サーバ通信部
３１０ ＲＥＳＴサービス
３１１ 顔認証部
３１２ 顔データ管理部

Claims (10)

  1. カメラでユーザを撮影することで取得した顔データを基に顔認証し特定されたユーザをログインさせる顔認証ログイン機能と、複数のユーザのボタンが表示されているログイン画面の中から選択されたボタンを基にユーザを特定しログインさせるシンプルログイン機能を提供する情報処理装置であって、
    前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能を有効にする設定を受け付ける設定手段を有し、
    前記情報処理装置で前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能が有効となっている場合、顔認証の結果がログインさせる条件を満たす結果だったことに応じて、ログイン処理を行いログイン後の画面を表示し、顔認証の結果がログインさせる条件を満たす結果ではなかったことに応じて、顔認証の結果から得られた１または複数の候補者のボタンを前記ログイン画面に表示し、ボタンが選択されたことでログイン処理を行いログイン後の画面を表示することを特徴とする情報処理装置。
  2. 顔認証の結果、１人のユーザを特定できたとしても顔データのスコアが閾値に満たないと判定された場合、顔認証の結果から得られた前記ユーザのボタンを候補者のボタンとして前記ログイン画面に表示することを特徴とする請求項１に記載の情報処理装置。
  3. 顔認証の結果、１人の顔データから２人以上のユーザが特定された場合、顔認証の結果から得られた２人以上のユーザのそれぞれのスコアを基にスコアが高い順に候補者のボタンを前記ログイン画面に表示することを特徴とする請求項１または２に記載の情報処理装置。
  4. 顔認証の結果、候補者を１人もユーザを特定できなかった場合、顔データをユーザ登録していないユーザのボタンを候補者のボタンとして前記ログイン画面に表示することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
  5. カメラで撮影したデータに２人以上の顔データが含まれる場合、それぞれの顔データで顔認証を行い、前記データにおける顔データの占有率の高い順に候補者のボタンを前記ログイン画面に表示することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
  6. 前記データにおける顔データの占有率の高い順に候補者のボタンを並べる際に、１人の顔データから２人以上のユーザが特定された場合、顔認証の結果から得られた２人以上のユーザのそれぞれのスコアを基にスコアが高い順に候補者のボタンを前記ログイン画面に表示し、そして、その次に占有率の高い候補者のボタンを前記ログイン画面に表示することを特徴とする請求項５に記載の情報処理装置。
  7. 前記設定手段は、ログイン機能を選択する設定画面でユーザが選択したログイン機能を有効なログイン機能の設定として受け付けることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
  8. 前記ログイン画面に前記１または複数の候補者のボタンを表示する場合、候補者とならなかった他のユーザのボタンは前記ログイン画面に表示しないことを特徴とする請求項１に記載の情報処理装置。
  9. カメラでユーザを撮影することで取得した顔データを基に顔認証し特定されたユーザをログインさせる顔認証ログイン機能と、複数のユーザのボタンが表示されているログイン画面の中から選択されたボタンを基にユーザを特定しログインさせるシンプルログイン機能を提供する情報処理装置を制御する制御方法であって、
    前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能を有効にする設定を受け付ける設定ステップを有し、
    前記情報処理装置で前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能が有効となっている場合、顔認証の結果がログインさせる条件を満たす結果だったことに応じて、ログイン処理を行いログイン後の画面を表示し、顔認証の結果がログインさせる条件を満たす結果ではなかったことに応じて、顔認証の結果から得られた１または複数の候補者のボタンを前記ログイン画面に表示し、ボタンが選択されたことでログイン処理を行いログイン後の画面を表示することを特徴とする制御方法。
  10. カメラでユーザを撮影することで取得した顔データを基に顔認証し特定されたユーザをログインさせる顔認証ログイン機能と、複数のユーザのボタンが表示されているログイン画面の中から選択されたボタンを基にユーザを特定しログインさせるシンプルログイン機能を提供する情報処理装置を制御するプログラムであって、
    前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能を有効にする設定を受け付けさせる設定ステップを有し、
    前記情報処理装置で前記顔認証ログイン機能と前記シンプルログイン機能の少なくとも２つのログイン機能が有効となっている場合、顔認証の結果がログインさせる条件を満たす結果だったことに応じて、ログイン処理を行いログイン後の画面を表示させ、顔認証の結果がログインさせる条件を満たす結果ではなかったことに応じて、顔認証の結果から得られた１または複数の候補者のボタンを前記ログイン画面に表示させ、ボタンが選択されたことでログイン処理を行いログイン後の画面を表示させることを特徴とする制御方法。
JP2019102880A 2019-05-31 2019-05-31 情報処理装置、制御方法およびプログラム Active JP7330766B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019102880A JP7330766B2 (ja) 2019-05-31 2019-05-31 情報処理装置、制御方法およびプログラム
CN202010441623.8A CN112016070A (zh) 2019-05-31 2020-05-22 信息处理装置、控制方法和存储介质
US16/885,037 US20200380103A1 (en) 2019-05-31 2020-05-27 Apparatus, method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019102880A JP7330766B2 (ja) 2019-05-31 2019-05-31 情報処理装置、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020197849A true JP2020197849A (ja) 2020-12-10
JP7330766B2 JP7330766B2 (ja) 2023-08-22

Family

ID=73506600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019102880A Active JP7330766B2 (ja) 2019-05-31 2019-05-31 情報処理装置、制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20200380103A1 (ja)
JP (1) JP7330766B2 (ja)
CN (1) CN112016070A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905131B (zh) * 2021-02-05 2023-12-15 深圳市商汤科技有限公司 自助打印后台的兼容方法及装置、设备、存储介质和系统
JP2023141022A (ja) * 2022-03-23 2023-10-05 東芝テック株式会社 画像形成装置、および制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199235A (ja) * 2008-02-20 2009-09-03 Ricoh Co Ltd 画像処理装置、認証方法、認証プログラム、及び記録媒体
JP2013182556A (ja) * 2012-03-05 2013-09-12 Hochiki Corp 出入管理システム及び認証装置
JP2015090661A (ja) * 2013-11-07 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
JP2016189162A (ja) * 2015-03-30 2016-11-04 オムロン株式会社 個人識別装置、識別閾値設定方法、およびプログラム
JP2018151782A (ja) * 2017-03-10 2018-09-27 キヤノン株式会社 画像処理装置、画像処理システム、および、制御方法
JP2018197980A (ja) * 2017-05-24 2018-12-13 シャープ株式会社 画像表示装置、画像形成装置、制御プログラムおよび制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104158790B (zh) * 2013-05-14 2016-05-25 腾讯科技（深圳）有限公司 用户登录方法、装置及设备
CN105100108B (zh) * 2015-08-18 2018-04-13 广州密码科技有限公司 一种基于人脸识别的登录认证方法、装置及系统
JP2017107473A (ja) * 2015-12-11 2017-06-15 キヤノン株式会社 情報処理システム、情報処理装置、サーバおよび情報処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199235A (ja) * 2008-02-20 2009-09-03 Ricoh Co Ltd 画像処理装置、認証方法、認証プログラム、及び記録媒体
JP2013182556A (ja) * 2012-03-05 2013-09-12 Hochiki Corp 出入管理システム及び認証装置
JP2015090661A (ja) * 2013-11-07 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
US20160301692A1 (en) * 2013-11-07 2016-10-13 Sony Interactive Entertainment Inc. Information processing apparatus
JP2016189162A (ja) * 2015-03-30 2016-11-04 オムロン株式会社 個人識別装置、識別閾値設定方法、およびプログラム
JP2018151782A (ja) * 2017-03-10 2018-09-27 キヤノン株式会社 画像処理装置、画像処理システム、および、制御方法
JP2018197980A (ja) * 2017-05-24 2018-12-13 シャープ株式会社 画像表示装置、画像形成装置、制御プログラムおよび制御方法

Also Published As

Publication number Publication date
CN112016070A (zh) 2020-12-01
JP7330766B2 (ja) 2023-08-22
US20200380103A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
US9760274B2 (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP6880763B2 (ja) 情報解析システム、情報解析方法
JP2007018346A (ja) 処理装置およびその制御方法ならびにコンピュータプログラム
JP2016066241A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US9086827B2 (en) Job processing apparatus, job processing method for job processing apparatus, and storage medium
US20140173715A1 (en) Information processing system, information processing method, device, and authentication apparatus
JP2016018264A (ja) 画像形成装置、画像形成方法、及びプログラム
JP7330766B2 (ja) 情報処理装置、制御方法およびプログラム
JP7341001B2 (ja) 情報処理装置、制御方法およびプログラム。
US9503599B2 (en) Apparatus, system and method for managing background processing on an image processing device
US10257373B2 (en) Non-transitory computer-readable recording medium and conference system
US11790063B2 (en) Information processing apparatus, control method, and medium
JP7384970B2 (ja) ユーザー認証装置、ユーザー認証方法および画像形成装置
US20220272229A1 (en) Image forming apparatus, method for controlling image forming apparatus, and storage medium storing computer program
JP2021128409A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10445512B2 (en) Information processing apparatus, control method for information processing apparatus, and storage medium
US10498910B2 (en) Image forming apparatus for displaying conference information, non-transitory computer-readable recording medium, conference system and method for controlling conference system
CA2948900C (en) Mobile submission of pharmacy insurance information
JP2021029018A (ja) 画像形成装置、その制御方法、及びプログラム
CN110134345A (zh) 图像处理装置和图像处理装置的控制方法
US20230236777A1 (en) Processing system, information processing apparatus, non-transitory computer-readable storage medium storing control program, and image processing apparatus
JP7238363B2 (ja) 画像データ管理システム、画像データ管理プログラム
JP6776698B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R151 Written notification of patent or utility model registration

Ref document number: 7330766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151