JP2020515955A

JP2020515955A - User interface display method and electronic device

Info

Publication number: JP2020515955A
Application number: JP2019551393A
Authority: JP
Inventors: 元麟江; 俊超 ▲呂▼; 献仁 ▲許▼
Original assignee: Egis Technology Inc
Current assignee: Egis Technology Inc
Priority date: 2017-10-16
Filing date: 2018-10-15
Publication date: 2020-05-28
Anticipated expiration: 2038-10-15
Also published as: GB201914055D0; WO2019076272A1; GB2574973B; GB2599288A; CN109669651A; GB202117618D0; GB2599288B; GB2574973A; JP6836662B2; CN109669651B

Abstract

本発明は、ユーザーインターフェースの表示方法及び電子デバイスを提供する。ユーザーインターフェースの表示方法は、指紋登録に適用する。前記表示方法は、包括以下ステップ：指紋センサによって対象を検出して、対象のスワイプ画像を取得するステップ、スワイプ画像を分析して、スワイプ画像の複数の特徴点を取得するステップ、スワイプ画像に基づき、事前登録データセットを生成するステップ、事前登録データセットを分析して、画像調整パラメータを取得するステップ、及びユーザーインターフェースを表示し、画像調整パラメータに基づき、ユーザーインターフェースの参考画像の完成領域の範囲を調整するステップ。したがって、本発明のユーザーインターフェースの表示方法及び電子デバイスは、使用者がスワイプ方式で指紋登録を行う過程において、電子デバイスのディスプレイによって対応する指紋登録進度を知り得ることができる。The present invention provides a method of displaying a user interface and an electronic device. The user interface display method applies to fingerprint registration. The display method includes the following steps: detecting a target with a fingerprint sensor, obtaining a swipe image of the target, analyzing the swipe image, obtaining a plurality of feature points of the swipe image, based on the swipe image , Generating a pre-registered data set, analyzing the pre-registered data set to obtain image adjustment parameters, and displaying a user interface, and based on the image adjustment parameters, a range of a completed area of the reference image of the user interface. Adjusting step. Therefore, in the user interface display method and the electronic device of the present invention, the corresponding fingerprint registration progress can be known by the display of the electronic device in the process of the user performing the fingerprint registration by the swipe method.

Description

本発明は、インターフェース表示技術に関し、特に、指紋登録に適用するユーザーインターフェースの表示方法及び前記表示方法を用いる電子デバイスに関する。 The present invention relates to interface display technology, and more particularly, to a user interface display method applied to fingerprint registration and an electronic device using the display method.

近年、指紋認識技術は、各種電子デバイスに広く用いられ、各種身分登録や身分認証機能を提供している。しかしながら、一般的な指紋認識技術は、使用者が指を指紋センサに押圧し、１回の押圧か複数回の押圧によって指紋を登録し、対応するユーザーインターフェースを提供して、使用者に指紋登録の進度を知らせる。例えば、複数回の押圧によって指紋を登録する場合、使用者が１回押圧する毎に、全体又は十分な大きな範囲の指紋を表示する、即ち、指紋登録を完成することを表すまで、ユーザーインターフェースの対応する指紋画像を増加する。 2. Description of the Related Art In recent years, fingerprint recognition technology has been widely used in various electronic devices and has provided various types of identification registration and identification authentication functions. However, in general fingerprint recognition technology, a user presses a finger against a fingerprint sensor to register a fingerprint with one press or multiple presses, and provides a corresponding user interface to register the fingerprint to the user. Notify the progress of. For example, in the case of registering a fingerprint by pressing a plurality of times, every time the user presses the fingerprint, the entire fingerprint or a sufficiently large range of fingerprints is displayed, that is, the fingerprint of the user interface is displayed until the fingerprint registration is completed. Increase the corresponding fingerprint image.

しかしながら、使用者が、スワイプ方式で指紋を登録する場合、現在、周知の指紋認識の関連技術では、使用者の指のスワイプ進度に基づき、指紋画像をユーザーインターフェースに対応して表示して、使用者に指紋登録の進度を知らせることができない。即ち、指をスワイプして指紋登録を行う過程において、使用者は、指紋登録の進度をリアルタイムで知り得ることができない。 However, when a user registers a fingerprint by a swipe method, currently, in the related art of fingerprint recognition, a fingerprint image is displayed corresponding to a user interface based on a swipe progress of a user's finger and used. Person cannot be informed of the progress of fingerprint registration. That is, in the process of registering a fingerprint by swiping a finger, the user cannot know the progress of fingerprint registration in real time.

本発明は、使用者がスワイプ方式で指紋登録を行う過程において、電子デバイスのディスプレイによって対応する指紋登録進度を知り得ることができるユーザーインターフェースの表示方法及び電子デバイスを提供する。 The present invention provides a method for displaying a user interface and an electronic device, which allows a user to know a corresponding fingerprint registration progress on a display of an electronic device in a process of performing fingerprint registration by a swipe method.

本発明のユーザーインターフェースの表示方法は、指紋登録に適用する。前記表示方法は、指紋センサによってスワイプ画像を取得するステップと、スワイプ画像を分析して、スワイプ画像的複数の特徴点を取得するステップと、スワイプ画像が一枚目のスワイプ画像であるか否か判断するステップと、スワイプ画像が一枚目のスワイプ画像である場合、スワイプ画像の前記複数の特徴点に基づき、事前登録データセットを生成するステップと、事前登録データセットを分析して、基礎画像パラメータを取得するステップと、基礎画像パラメータに基づき、完成領域をユーザーインターフェースの参考画像に表示するステップと、を含む。 The user interface display method of the present invention is applied to fingerprint registration. The display method includes a step of acquiring a swipe image with a fingerprint sensor, a step of analyzing the swipe image to acquire a plurality of feature points like a swipe image, and whether or not the swipe image is the first swipe image. When determining, and if the swipe image is the first swipe image, based on the plurality of feature points of the swipe image, generating a pre-registered data set, and analyzing the pre-registered data set, the basic image Obtaining the parameters and displaying the completed region in the reference image of the user interface based on the basic image parameters.

本発明のユーザーインターフェースの表示方法は、指紋登録に適用する。前記表示方法は、指紋センサによってスワイプ画像を取得するステップと、スワイプ画像を分析して、スワイプ画像的複数の特徴点を取得し、スワイプ画像の最も左上角位置に位置する特徴点の座標パラメータを取得するステップと、スワイプ画像が一枚目のスワイプ画像であるか否か判断するステップと、スワイプ画像が一枚目のスワイプ画像である場合、スワイプ画像の前記複数の特徴点に基づき、事前登録データセットを生成するステップと、座標パラメータ及びスワイプ画像の面積に基づき、完成領域をユーザーインターフェースの参考画像に表示するステップと、を含む。 The user interface display method of the present invention is applied to fingerprint registration. The display method, the step of acquiring a swipe image by a fingerprint sensor, analyzing the swipe image, to acquire a plurality of swipe image-like feature points, the coordinate parameter of the feature point located in the upper left corner position of the swipe image. Acquiring step, determining whether the swipe image is the first swipe image, and if the swipe image is the first swipe image, pre-register based on the plurality of feature points of the swipe image Generating a data set and displaying the completed region in a reference image of the user interface based on the coordinate parameters and the area of the swipe image.

本発明の電子デバイスは、指紋センサ、プロセッサ及びディスプレイを含む。指紋センサは、スワイプ画像を取得するのに用いる。プロセッサは、指紋センサに結合する。プロセッサは、スワイプ画像を分析して、スワイプ画像の複数の特徴点を取得し、スワイプ画像が一枚目のスワイプ画像であるか否か判断するのに用いる。ディスプレイは、プロセッサに結合する。プロセッサは、スワイプ画像が一枚目のスワイプ画像であると判断する場合、プロセッサは、スワイプ画像の前記複数の特徴点に基づき、事前登録データセットを生成し、事前登録データセットを分析して、基礎画像パラメータを取得する。プロセッサは、基礎画像パラメータに基づき、ディスプレイによって完成領域をユーザーインターフェースの参考画像に表示する。 The electronic device of the present invention includes a fingerprint sensor, a processor and a display. The fingerprint sensor is used to capture the swipe image. The processor is coupled to the fingerprint sensor. The processor analyzes the swipe image, obtains a plurality of feature points of the swipe image, and uses the processor to determine whether the swipe image is the first swipe image. The display is coupled to the processor. When the processor determines that the swipe image is the first swipe image, the processor generates a pre-registered data set based on the plurality of feature points of the swipe image, analyzes the pre-registered data set, Get basic image parameters. The processor displays the completed area on the reference image of the user interface by the display based on the basic image parameter.

本発明の電子デバイスは、指紋センサ、プロセッサ及びディスプレイを含む。指紋センサは、スワイプ画像を取得するのに用いる。プロセッサは、指紋センサに結合する。プロセッサは、スワイプ画像を分析し、前記スワイプ画像の最も左上角位置に位置する特徴点の座標パラメータを取得する。プロセッサは、更に、スワイプ画像が一枚目のスワイプ画像であるか否か判断するのに用いる。ディスプレイは、プロセッサに結合する。プロセッサは、スワイプ画像が一枚目のスワイプ画像であると判断する場合、スワイプ画像の前記複数の特徴点に基づき、事前登録データセットを生成する。プロセッサは、座標パラメータ及びスワイプ画像の面積に基づき、完成領域をユーザーインターフェースの参考画像に表示する。 The electronic device of the present invention includes a fingerprint sensor, a processor and a display. The fingerprint sensor is used to capture the swipe image. The processor is coupled to the fingerprint sensor. The processor analyzes the swipe image and obtains coordinate parameters of the feature point located at the uppermost left corner position of the swipe image. The processor is further used to determine whether the swipe image is the first swipe image. The display is coupled to the processor. When the processor determines that the swipe image is the first swipe image, the processor generates a pre-registered data set based on the plurality of feature points of the swipe image. The processor displays the completed area in the reference image of the user interface based on the coordinate parameters and the area of the swipe image.

上述に基づき、本発明のユーザーインターフェースの表示方法及び電子デバイスは、指紋登録過程において取得する複数のスワイプ画像を分析することで、対応する画像調整パラメータを取得することができると共に、画像調整パラメータに基づき、現在のユーザーインターフェースの参考画像の完成領域の範囲の変化を示して、リアルタイムの指紋登録進度の情報を使用者に提供することができる。 Based on the above, the user interface display method and the electronic device of the present invention can acquire corresponding image adjustment parameters by analyzing a plurality of swipe images acquired in the fingerprint registration process, and at the same time, Based on the change of the range of the completed area of the reference image of the current user interface, real-time fingerprint registration progress information can be provided to the user.

画像調整パラメータに基づき、ユーザーインターフェースの参考画像の完成領域の範囲の変化を表して、リアルタイムの指紋登録進度の情報を使用者に提供する。
本発明の上記特徴と利点を更にわかりやすくするために、以下に、実施形態を挙げて図面と共に詳細に説明する。 The real-time fingerprint registration progress information is provided to the user by indicating the change of the range of the completed area of the reference image of the user interface based on the image adjustment parameter.
In order to make the above features and advantages of the present invention more comprehensible, a detailed description will be given below with reference to the drawings along with the embodiments.

本発明の実施形態による電子デバイスの概略図である。FIG. 3 is a schematic diagram of an electronic device according to an embodiment of the present invention. 本発明の実施形態による指紋登録方法のフローチャートである。6 is a flowchart of a fingerprint registration method according to an exemplary embodiment of the present invention. 発明の第一実施形態による指紋登録方法のフローチャートである。3 is a flowchart of a fingerprint registration method according to the first embodiment of the invention. 発明の第一実施形態による事前登録データセットの概略図である。FIG. 3 is a schematic diagram of a pre-registered data set according to the first embodiment of the invention. 発明の第一実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a finger swipe motion and corresponding user interface display according to the first embodiment of the invention. 発明の第一実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a finger swipe motion and corresponding user interface display according to the first embodiment of the invention. 発明の第一実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a finger swipe motion and corresponding user interface display according to the first embodiment of the invention. 発明の第一実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a finger swipe motion and corresponding user interface display according to the first embodiment of the invention. 発明の第一実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a finger swipe motion and corresponding user interface display according to the first embodiment of the invention. 図６は、発明の第二実施形態による指紋登録方法のフローチャートである。FIG. 6 is a flowchart of a fingerprint registration method according to the second embodiment of the invention. 図７は、発明の第二実施形態による事前登録データセットの概略図である。FIG. 7 is a schematic diagram of a pre-registered data set according to the second embodiment of the invention. 発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a swipe motion of a finger and a corresponding user interface display according to the second embodiment of the invention. 発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a swipe motion of a finger and a corresponding user interface display according to the second embodiment of the invention. 発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a swipe motion of a finger and a corresponding user interface display according to the second embodiment of the invention. 発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a swipe motion of a finger and a corresponding user interface display according to the second embodiment of the invention. 発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a swipe motion of a finger and a corresponding user interface display according to the second embodiment of the invention. 発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a swipe motion of a finger and a corresponding user interface display according to the second embodiment of the invention. 発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic diagram of a swipe motion of a finger and a corresponding user interface display according to the second embodiment of the invention. 図９は、発明の第三実施形態による指紋登録方法のフローチャートである。FIG. 9 is a flowchart of a fingerprint registration method according to the third embodiment of the invention. 図１０は、発明の第三実施形態による事前登録データセットの概略図である。FIG. 10 is a schematic diagram of a pre-registered data set according to the third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention. 発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。FIG. 6 is a schematic view of a swipe motion of a finger and a corresponding user interface display according to a third embodiment of the invention.

具体的な実施方式
本発明の内容を更に容易に理解させるために、以下に、本発明の確実に実施できる例として実施形態を特に挙げる。また、可能な限り、図面及び実施方式は、同じ符号の部材／構成要素／ステップを使用し、同じ又は類似の部材を表す。 Specific Implementation Modes In order to more easily understand the content of the present invention, embodiments will be specifically given below as examples that can surely implement the present invention. Also, wherever possible, the figures and implementations use the same number of components/components/steps to represent the same or similar components.

図１は、本発明の実施形態による電子デバイスの概略図である。図１を参考にすると、電子デバイス１００は、プロセッサ１１０、指紋センサ１２０、メモリ１３０及びディスプレイ１４０を含む。プロセッサ１１０は、指紋センサ１２０、メモリ１３０及びディスプレイ１４０に結合する。電子デバイス１００は、例えば、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートパソコン（ｎｏｔｅｂｏｏｋ，ＮＢ）、タブレットコンピュータ（ｔａｂｌｅｔＰＣ）等の電子製品であってもよい。本実施形態において、電子デバイス１００は、指紋センサ１２０によって指紋検出操作を実行して、使用者の指紋画像（ｉｍａｇｅ）を採集する。本実施形態において、使用者が指を指紋センサ１２０に置いてスワイプ（ｓｗｉｐｉｎｇ）動作を行う時、指紋センサ１２０は、指紋検出を行う。指紋センサ１２０が、複数のスワイプ画像を連続で取得して、プロセッサ１１０に提供する。プロセッサ１１０は、これらのスワイプ画像を分析して、スワイプ画像から複数の特徴点（ｆｅａｔｕｒｅｐｏｉｎｔ）を取り出す。これらの特徴点は、指の指紋の特徴点を指す。その後、プロセッサ１１０は、これらの特徴点データに基づき、指紋登録データを生成する。 FIG. 1 is a schematic diagram of an electronic device according to an embodiment of the present invention. Referring to FIG. 1, the electronic device 100 includes a processor 110, a fingerprint sensor 120, a memory 130, and a display 140. Processor 110 is coupled to fingerprint sensor 120, memory 130 and display 140. The electronic device 100 may be an electronic product such as a smartphone (smart phone), a notebook computer (notebook, NB), or a tablet computer (table PC). In the present embodiment, the electronic device 100 performs a fingerprint detection operation using the fingerprint sensor 120 to collect a fingerprint image of the user. In the present embodiment, when the user puts a finger on the fingerprint sensor 120 and performs a swiping operation, the fingerprint sensor 120 performs fingerprint detection. The fingerprint sensor 120 sequentially acquires a plurality of swipe images and provides the swipe images to the processor 110. The processor 110 analyzes these swipe images and extracts a plurality of feature points from the swipe images. These characteristic points are characteristic points of the fingerprint of the finger. After that, the processor 110 generates fingerprint registration data based on these feature point data.

本実施形態において、指紋センサ１２０は、これらのスワイプ画像を逐一取得し、プロセッサ１１０が逐一分析する過程において、プロセッサ１１０は、逐一取得したスワイプ画像の分析結果に基づき、ディスプレイ１４０に表示するユーザーインターフェース（ＵｓｅｒＩｎｔｅｒｆａｃｅ，ＵＩ）に含まれる指紋参考画像の完成領域を対向して変更する。本実施形態において、ユーザーインターフェースの参考画像は、完成領域を含む。参考画像の完成領域は、取得した指紋情報の覆う範囲を表すのに用い、参考画像の完成領域の範囲の変化は、現在の使用者のスワイプの程度（即ち、指紋情報の取得進度）に対応して徐々に増加並びに変更する。したがって、本発明の電子デバイス１００の指紋登録機能は、良好な相互作用効果を提供でき、使用者は、現在の登録進度を知り得ることができる。 In the present embodiment, the fingerprint sensor 120 acquires these swipe images one by one, and in the process of the processor 110 analyzing them one by one, the processor 110 displays a user interface on the display 140 based on the analysis result of the swipe images acquired one by one. The completed area of the fingerprint reference image included in (User Interface, UI) is changed so as to face it. In the present embodiment, the reference image of the user interface includes the completed area. The completed area of the reference image is used to represent the range covered by the acquired fingerprint information, and the change in the range of the completed area of the reference image corresponds to the current degree of swipe of the user (that is, the progress of acquisition of fingerprint information). And gradually increase and change. Therefore, the fingerprint registration function of the electronic device 100 of the present invention can provide a good interaction effect, and the user can know the current registration progress.

本実施形態において、プロセッサ１１０は、例えば、中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ，ＣＰＵ）、システムオンチップ（ＳｙｓｔｅｍｏｎＣｈｉｐ，ＳＯＣ）またはその他のプログラム可能な一般用途または特殊用途のマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、デジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ，ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔｓ，ＡＳＩＣ）、プログラマブルロジックデバイス（ＰｒｏｇメモリｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ，ＰＬＤ）、その他の類似の処理装置またはこれらのデバイスの組み合わせである。 In this embodiment, the processor 110 may be, for example, a central processing unit (CPU), a system on chip (SOC), or other programmable general-purpose or special-purpose microprocessor. Digital Signal Processor (DSP), programmable controller, Application Specific Integrated Circuits (ASIC), programmable logic device (Prog memory, Maable Logic Device, or similar processing of PLD), and other devices. It is a combination of devices.

本実施形態において、指紋センサ１２０は、例えば、静電容量式指紋センサまたは光学式指紋センサであるが、本発明は、指紋センサ１２０の種類を限定しない。本実施形態において、指紋センサ１２０の指紋検出メカニズムはスワイプ式（ｓｗｉｐｉｎｇ）検出または押圧式（ｐｒｅｓｓｉｎｇ）検出であってもよい。注意すべきこととして、本発明の各実施形態の指紋登録は、スワイプ式検出によって指紋登録を行う。即ち、指紋登録を行う過程において、使用者は、指を指紋センサ１２０の検出表面に置いてスワイプを行い、指紋センサ１２０は、検出表面を介して使用者の指紋情報を検出並びに取得する。例を挙げると、電子デバイス１００は、使用者が指をスワイプすることで指紋登録を行うよう、即ち、指紋センサ１２０は、スワイプ式検出によって指紋検出を行い、指紋認証を行う時、使用者が指を押圧することで指紋認証を行う、即ち、指紋センサ１２０は、押圧式によって指紋検出を行うように設計してもよい。 In the present embodiment, the fingerprint sensor 120 is, for example, a capacitance type fingerprint sensor or an optical fingerprint sensor, but the present invention does not limit the type of the fingerprint sensor 120. In the present embodiment, the fingerprint detection mechanism of the fingerprint sensor 120 may be swipe detection or pressing detection. It should be noted that the fingerprint registration of each embodiment of the present invention performs fingerprint registration by swipe-type detection. That is, in the process of registering a fingerprint, a user places a finger on the detection surface of the fingerprint sensor 120 and swipes, and the fingerprint sensor 120 detects and acquires fingerprint information of the user through the detection surface. For example, the electronic device 100 performs fingerprint registration by swiping a finger by the user, that is, the fingerprint sensor 120 performs fingerprint detection by swipe-type detection, and the user performs fingerprint authentication when performing fingerprint authentication. Fingerprint authentication may be performed by pressing a finger, that is, the fingerprint sensor 120 may be designed to perform fingerprint detection by pressing.

本実施形態において、メモリ１３０は、本発明の各実施形態に記載の指紋データを記憶し、また、関連するアプリケーションプログラムを記憶して、プロセッサ１１０がこれを読み取って実行するのに用いる。 In the present embodiment, the memory 130 stores the fingerprint data described in each of the embodiments of the present invention, and also stores the related application program, which is used by the processor 110 to read and execute the same.

本実施形態において、ディスプレイ１４０は、例えば、液晶ディスプレイ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ，ＬＣＤ）、発光ダイオード（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ，ＬＥＤ）ディスプレイ、マイクロ発光ダイオード（ＭｉｃｒｏＬＥＤ）ディスプレイまたは有機発光ダイオード（ＯｒｇａｎｉｃＬＥＤ）ディスプレイ等のディスプレイであるが、本発明は、ディスプレイ１４０の種類を限定しない。本実施形態において、使用者が指紋登録を行う時、ディスプレイ１４０は、対応するユーザーインターフェースを表示し、ユーザーインターフェースに、１つの指紋をシミュレーションする参考画像を含む。使用者が指紋センサ１２０において指をスワイプする過程において、ディスプレイ１４０が表示する参考画像の完成領域の範囲は、指紋センサ１２０が検出した指紋データの増加と共に対応して変化及び大きくなる。 In the present embodiment, the display 140 is, for example, a liquid crystal display (LCD), a light emitting diode (Light Emitting Diode, LED) display, a micro light emitting diode (Micro LED) display, an organic light emitting diode (Organic LED) display, or the like. However, the present invention does not limit the type of the display 140. In this embodiment, when the user performs fingerprint registration, the display 140 displays a corresponding user interface, and the user interface includes a reference image for simulating one fingerprint. During the process in which the user swipes his/her finger on the fingerprint sensor 120, the range of the completed area of the reference image displayed on the display 140 changes and increases correspondingly as the fingerprint data detected by the fingerprint sensor 120 increases.

図２は、本発明の実施形態による指紋登録方法のフローチャートである。図１及び図２を参考にすると、本実施形態の指紋登録方法は、図１の実施形態の電子デバイス１００に適用できる。使用者が指紋登録を行う時、電子デバイス１００は、指紋センサ１２０によって指紋スワイプ検出操作を実行して、対象（即ち、使用者の指）のスワイプ画像を逐一取得する。ステップＳ２１０では、指紋センサ１２０は、一枚のスワイプ画像を取得する。ステップＳ２２０では、プロセッサ１１０は、スワイプ画像を分析して、スワイプ画像の複数の特徴点を取得する。ステップＳ２２５では、プロセッサ１１０は、スワイプ画像が一枚目のスワイプ画像であるか否か判断する。一枚目のスワイプ画像である場合、ステップＳ２３０を実行する。ステップＳ２３０では、プロセッサ１１０は、スワイプ画像の特徴点に基づき、事前登録データセットを生成し、事前登録データセットの基礎画像パラメータ（ｈ）を分析並びに取得する。ステップＳ２３２では、プロセッサ１１０は、基礎画像パラメータ（ｈ）に基づき、参考画像の完成領域をユーザーインターフェースに表示する。一枚目のスワイプ画像ではない場合、ステップＳ２３５を実行する。ステップＳ２３５では、プロセッサ１１０は、スワイプ画像の特徴点を事前登録データセットに組み込み、合併後の事前登録データセットを生成する。ステップＳ２４０では、プロセッサ１１０は、合併後の事前登録データセットを分析して、合併画像パラメータ（Ｈ）を取得し、合併画像パラメータ（Ｈ）と基礎画像パラメータ（ｈ）に基づき、画像調整パラメータ（Ｓｔｅｐ＝Ｈ−ｈ）を取得する。画像調整パラメータ（Ｓｔｅｐ）は、合併画像パラメータ（Ｈ）から基礎画像パラメータ（ｈ）を減じたものに等しい。ステップＳ２４５では、プロセッサ１１０は、合併画像パラメータ（Ｈ）を新たな基礎画像パラメータ（ｈ）とする。ステップＳ２５０では、プロセッサ１１０は、画像調整パラメータ（Ｓｔｅｐ）に基づき、ユーザーインターフェースの参考画像の完成領域の範囲を増加する、即ち、完成領域の長さを増加する。本願のユーザーインターフェースの表示方式及び指紋登録の技術詳細を当業者に更に理解させるために、以下、複数の実施形態を提出してこれを詳細に説明する。 FIG. 2 is a flowchart of a fingerprint registration method according to an exemplary embodiment of the present invention. Referring to FIGS. 1 and 2, the fingerprint registration method of the present embodiment can be applied to the electronic device 100 of the embodiment of FIG. When the user performs fingerprint registration, the electronic device 100 performs a fingerprint swipe detection operation using the fingerprint sensor 120 to acquire swipe images of the target (that is, the user's finger) one by one. In step S210, the fingerprint sensor 120 acquires one swipe image. At step S220, the processor 110 analyzes the swipe image to obtain a plurality of feature points of the swipe image. In step S225, processor 110 determines whether the swipe image is the first swipe image. If it is the first swipe image, step S230 is executed. In step S230, the processor 110 generates a pre-registered data set based on the feature points of the swipe image, and analyzes and acquires the basic image parameter (h) of the pre-registered data set. In step S232, the processor 110 displays the completed area of the reference image on the user interface based on the basic image parameter (h). If it is not the first swipe image, step S235 is executed. In step S235, the processor 110 incorporates the feature points of the swipe image into the pre-registered data set to generate the pre-registered data set after the merger. In step S240, the processor 110 analyzes the pre-registered data set after the merger to obtain the merged image parameter (H), and based on the merged image parameter (H) and the basic image parameter (h), the image adjustment parameter ( Step=H-h) is acquired. The image adjustment parameter (Step) is equal to the merged image parameter (H) minus the basic image parameter (h). In step S245, the processor 110 sets the merged image parameter (H) as a new basic image parameter (h). In step S250, the processor 110 increases the range of the completed area of the reference image of the user interface, that is, increases the length of the completed area based on the image adjustment parameter (Step). In order for those skilled in the art to further understand the technical details of the display method of the user interface and the fingerprint registration of the present application, a plurality of embodiments will be submitted and described in detail below.

図３は、発明の第一実施形態による指紋登録方法のフローチャートである。図１及び図３を参考にすると、本実施形態の指紋登録方法は、図１の実施形態の電子デバイス１００に適用できる。使用者が指紋登録を行う時、ステップＳ３１０では、電子デバイス１００は、指紋センサ１２０によって対象（即ち、使用者の指）を検出して、一枚のスワイプ画像を取得する。ステップＳ３２０では、プロセッサ１１０は、スワイプ画像を分析して、スワイプ画像の複数の特徴点を取得する。ステップＳ３３１では、プロセッサ１１０は、スワイプ画像が一枚目のスワイプ画像であるか否か判断する。一枚目のスワイプ画像である場合、プロセッサ１１０は、ステップＳ３３２を実行する。ステップＳ３３２では、プロセッサ１１０は、スワイプ画像の特徴点に基づき、事前登録データセットを生成し、事前登録データセットの基礎画像パラメータ（ｈ）を取得する。ステップＳ３３３では、プロセッサ１１０は、基礎画像パラメータ（ｈ）に基づき、参考画像の完成領域を表示する。一枚目のスワイプ画像ではない場合、プロセッサ１１０は、ステップＳ３３４を実行する。ステップＳ３３４では、プロセッサ１１０は、スワイプ画像の特徴点を事前登録データセットに組み込み、合併後の事前登録データセットを生成する。 FIG. 3 is a flowchart of a fingerprint registration method according to the first embodiment of the invention. Referring to FIGS. 1 and 3, the fingerprint registration method of this embodiment can be applied to the electronic device 100 of the embodiment of FIG. When the user performs fingerprint registration, in step S310, the electronic device 100 detects the target (that is, the user's finger) by the fingerprint sensor 120 and acquires one swipe image. At step S320, the processor 110 analyzes the swipe image to obtain a plurality of feature points of the swipe image. In step S331, the processor 110 determines whether the swipe image is the first swipe image. If it is the first swipe image, the processor 110 executes step S332. In step S332, the processor 110 generates a pre-registered data set based on the feature points of the swipe image, and acquires the basic image parameter (h) of the pre-registered data set. In step S333, the processor 110 displays the completed area of the reference image based on the basic image parameter (h). If it is not the first swipe image, the processor 110 executes step S334. In step S334, the processor 110 incorporates the feature points of the swipe image into the pre-registered data set to generate the pre-registered data set after merge.

ステップＳ３４０では、プロセッサ１１０は、合併後の事前登録データセットを分析して、合併画像パラメータ（Ｈ）を取得し、合併画像パラメータ（Ｈ）と基礎画像パラメータ（ｈ）に基づき、画像調整パラメータ（Ｓｔｅｐ＝Ｈ−ｈ）を取得する。画像調整パラメータ（Ｓｔｅｐ）は、合併画像パラメータ（Ｈ）から基礎画像パラメータ（ｈ）を減じたものに等しい。ステップＳ３４１では、プロセッサ１１０は、合併画像パラメータ（Ｈ）を新たな基礎画像パラメータ（ｈ）とする。ステップＳ３５０では、プロセッサ１１０は、画像調整パラメータ（Ｓｔｅｐ）に基づき、参考画像の完成領域の範囲を増加する、即ち、完成領域の長さを増加する。ステップＳ３８０では、プロセッサ１１０は、合併画像パラメータ（Ｈ）がプリセット閾値より大きいか否か判断する。大きい場合、十分な指紋登録データを取得したことを表し、プロセッサ１１０は、指紋センサ１２０の指紋検出操作を終了し、事前登録データセットを指紋登録データセットとしてメモリ１３０に記憶して、指紋登録プログラムを完成する。大きくない場合、プロセッサ１１０は、ステップＳ３１０を実行して、次の一枚のスワイプ画像を取得する。 In step S340, the processor 110 analyzes the pre-registered data set after the merger to obtain the merged image parameter (H), and based on the merged image parameter (H) and the basic image parameter (h), the image adjustment parameter ( Step=H-h) is acquired. The image adjustment parameter (Step) is equal to the merged image parameter (H) minus the basic image parameter (h). In step S341, the processor 110 sets the merged image parameter (H) as a new basic image parameter (h). In step S350, the processor 110 increases the range of the completed area of the reference image, that is, increases the length of the completed area based on the image adjustment parameter (Step). In step S380, the processor 110 determines whether the merged image parameter (H) is larger than the preset threshold. If it is larger, it means that sufficient fingerprint registration data has been acquired, and the processor 110 finishes the fingerprint detection operation of the fingerprint sensor 120, stores the pre-registration data set in the memory 130 as the fingerprint registration data set, and executes the fingerprint registration program. To complete. If not, the processor 110 executes step S310 to acquire the next swipe image.

図４は、発明の第一実施形態による事前登録データセットの概略図である。図５Ａ〜図５Ｅは、発明の第一実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。図１、図４及び図５Ａ〜図５Ｅを参考にすると、本実施形態は上記図３のフローにも適用できる。本実施形態において、指紋センサ１２０が指Ｆの一枚目のスワイプ画像４１０を取得した後、プロセッサ１１０は、スワイプ画像４１０を分析して、スワイプ画像４１０の複数の特徴点４１１及び基礎画像パラメータｈを取得する。説明しなければならないこととして、スワイプ画像４１０の面積は、指紋センサ１２０の検出表面の面積に等しい。本実施形態において、基礎画像パラメータｈの初期値は、一枚目のスワイプ画像４１０のこれらの特徴点４１１の長さ方向に距離が最も離れた２つの特徴点の距離であってもよいが、本発明は、これに限定しない。別の実施形態において、基礎画像パラメータｈの初期値は、スワイプ画像４１０の長さ、即ち、指紋センサ１２０の検出表面の長さであってもよい。プロセッサ１１０は、スワイプ画像４１０の特徴点４１１に基づき、事前登録データセットを生成する。続いて、プロセッサ１１０は、次の一枚のスワイプ画像４２０を継続して取得し、スワイプ画像４２０の特徴点を取得する。本実施形態において、プロセッサ１１０は、スワイプ画像４２０の特徴点を事前登録データセット（即ち、スワイプ画像４１０と４２０の特徴点が合併する）に組み込み、新たな事前登録データセット４００とする。プロセッサ１１０は、合併後の事前登録データセット４００の合併画像パラメータＨを計算する。同様の理由で、合併画像パラメータＨは、スワイプ画像４１０と４２０を合併させた後、合併後の特徴点の長さ方向に距離が最も離れた２つの特徴点の距離であってもよく、スワイプ画像４１０と４２０を合併させた後、２枚のスワイプ画像の長さの合計（即ち、指紋センサ１２０の検出表面の長さの２倍）からスワイプ画像４１０と４２０の重なり部分を減じた長さでもよい。続いて、プロセッサ１１０は、合併画像パラメータＨから基礎画像パラメータｈを減じて、画像調整パラメータＳｔｅｐ（＝Ｈ−ｈ）を取得する。 FIG. 4 is a schematic diagram of a pre-registered data set according to the first embodiment of the invention. 5A-5E are schematic diagrams of finger swipe actions and corresponding user interface displays according to a first embodiment of the invention. Referring to FIGS. 1, 4 and 5A to 5E, the present embodiment can be applied to the flow of FIG. In the present embodiment, after the fingerprint sensor 120 acquires the first swipe image 410 of the finger F, the processor 110 analyzes the swipe image 410 to analyze the plurality of feature points 411 and the basic image parameter h of the swipe image 410. To get. It should be noted that the area of swipe image 410 is equal to the area of the detection surface of fingerprint sensor 120. In the present embodiment, the initial value of the basic image parameter h may be the distance between the two feature points that are most distant in the length direction of these feature points 411 of the first swipe image 410, The present invention is not limited to this. In another embodiment, the initial value of the basic image parameter h may be the length of the swipe image 410, that is, the length of the detection surface of the fingerprint sensor 120. The processor 110 generates a pre-registered data set based on the feature points 411 of the swipe image 410. Subsequently, the processor 110 continuously acquires the next one swipe image 420 and acquires the feature points of the swipe image 420. In the present embodiment, the processor 110 incorporates the feature points of the swipe image 420 into the pre-registered data set (that is, the feature points of the swipe images 410 and 420 are merged) to form a new pre-registered data set 400. The processor 110 calculates the merged image parameter H of the pre-registered dataset 400 after merger. For the same reason, the merged image parameter H may be the distance between the two feature points that have the longest distance in the length direction of the merged feature points after the swipe images 410 and 420 are merged. After merging images 410 and 420, the sum of the lengths of the two swipe images (ie, twice the length of the detection surface of fingerprint sensor 120) minus the overlap of swipe images 410 and 420. But it's okay. Subsequently, the processor 110 subtracts the basic image parameter h from the merged image parameter H to obtain the image adjustment parameter Step (=H−h).

即ち、プロセッサ１１０が一枚のスワイプ画像の特徴点を組み込む毎に、プロセッサ１１０は、合併後の事前登録データセット４００が新たに加える長さを計算して、これによりユーザーインターフェース５００の参考画像５１０の完成領域５１１の長さを調整する。注意すべきこととして、参考画像５１０の完成領域５１１の幅ＤＷは、プリセットしたものであり、一定である。一枚のスワイプ画像の特徴点データを新たに加える毎に、プロセッサ１１０は、完成領域５１１の長さを対応して増加する。また、プロセッサ１１０は、合併画像パラメータＨがプリセット閾値より大きいか否か判断する。大きい場合、十分な指紋登録データを取得したことを表す。例えば、合併画像パラメータＨがプリセット閾値より大きい時、十分な数の指紋特徴点を取得したことを表す。十分な数のスワイプ画像を取得したことを表してもよい。したがって、プロセッサ１１０は、事前登録データセットを指紋登録データセットとしてメモリ１３０に記憶して、指紋登録プログラムを完成する。 That is, each time the processor 110 incorporates a feature point of one swipe image, the processor 110 calculates a length to be newly added to the pre-registered data set 400 after the merge, and thereby the reference image 510 of the user interface 500 is calculated. The length of the completed area 511 is adjusted. It should be noted that the width DW of the completed area 511 of the reference image 510 is preset and constant. Every time the feature point data of one swipe image is newly added, the processor 110 correspondingly increases the length of the completed region 511. Further, the processor 110 determines whether the merged image parameter H is larger than the preset threshold value. If it is large, it means that sufficient fingerprint registration data has been acquired. For example, when the merged image parameter H is larger than the preset threshold, it means that a sufficient number of fingerprint feature points have been acquired. It may indicate that a sufficient number of swipe images have been acquired. Therefore, the processor 110 stores the pre-registration data set as the fingerprint registration data set in the memory 130 to complete the fingerprint registration program.

例を挙げると、図５Ａ〜図５Ｅを例とする。図５Ａに示すように、使用者が指Ｆを電子デバイス１００の指紋センサ１２０に置いてスワイプ動作を行う時、電子デバイス１００は、ユーザーインターフェース５００に参考画像５１０を表示し、スワイプ画像を逐一取得する。一枚目のスワイプ画像を取得する時、電子デバイス１００は、対応する完成領域５１１を参考画像５１０に表示する。完成領域５１１の長さは、一枚目のスワイプ画像の基礎画像パラメータｈに対応する。また、上記にあるように、完成領域５１１の幅は、プリセットしたものであり、一定である。図に示すように、完成領域５１１の幅は、参考画像５１０の幅以上でもよい。図５Ｂに示すように、二枚目のスワイプ画像を取得する時、電子デバイス１００は、画像調整パラメータＳｔｅｐに基づき、参考画像５１０の完成領域５１１の長さを増加する。図に示すように、完成領域５１１の幅は一定である。図５Ｃに示すように、使用者の指Ｆが指紋センサ１２０から離れる時、参考画像５１０の完成領域５１１の長さは、増加を停止する。しかしながら、十分な指紋情報を取得していない、即ち、合併画像パラメータＨは、まだプリセット閾値より大きくなく、指紋登録プログラムは、完成していないため、ユーザーインターフェース５００は、参考画像５１０の完成領域５１１を継続して表示し、使用者に再度指をスワイプするように提示する。続いて、図５Ｄに示すように、使用者の指Ｆを再び電子デバイス１００の指紋センサ１２０に置いてスワイプ動作を行う。電子デバイス１００は、新たなスワイプ画像を取得し、新たに加えるスワイプ画像（即ち、新たに加える指紋特徴点データ）に基づき、参考画像５１０の完成領域５１１の長さを継続して増加する。最後に、図５Ｅに示すように、合併画像パラメータＨがプリセット閾値より大きい時、プロセッサ１１０は、完成領域５１１によって参考画像５１０を完全に覆う、即ち、完成領域５１１の長さは、参考画像５１０の長さ以上である。したがって、指紋登録プログラムは完成し、プロセッサ１１０は、指紋センサ１２０の指紋検出操作を停止し、事前登録データセットに基づき、指紋登録データセットを生成して、指紋登録プログラムを完成する。 For example, FIGS. 5A to 5E are taken as examples. As shown in FIG. 5A, when the user puts the finger F on the fingerprint sensor 120 of the electronic device 100 to perform the swipe operation, the electronic device 100 displays the reference image 510 on the user interface 500 and acquires the swipe image one by one. To do. When acquiring the first swipe image, the electronic device 100 displays the corresponding completed area 511 in the reference image 510. The length of the completed area 511 corresponds to the basic image parameter h of the first swipe image. Further, as described above, the width of the completed region 511 is preset and is constant. As shown, the width of the completed area 511 may be greater than or equal to the width of the reference image 510. As shown in FIG. 5B, when acquiring the second swipe image, the electronic device 100 increases the length of the completed region 511 of the reference image 510 based on the image adjustment parameter Step. As shown in the figure, the width of the completed region 511 is constant. As shown in FIG. 5C, when the user's finger F moves away from the fingerprint sensor 120, the length of the completed area 511 of the reference image 510 stops increasing. However, since sufficient fingerprint information has not been acquired, that is, the merged image parameter H is not greater than the preset threshold and the fingerprint registration program has not been completed, the user interface 500 displays the completed area 511 of the reference image 510. Is continuously displayed, and the user is prompted to swipe their finger again. Subsequently, as shown in FIG. 5D, the user's finger F is placed again on the fingerprint sensor 120 of the electronic device 100 to perform the swipe operation. The electronic device 100 acquires a new swipe image, and continuously increases the length of the completed region 511 of the reference image 510 based on the newly added swipe image (that is, the newly added fingerprint feature point data). Finally, as shown in FIG. 5E, when the merged image parameter H is larger than the preset threshold, the processor 110 completely covers the reference image 510 with the completion area 511, that is, the length of the completion area 511 is equal to the reference image 510. Is longer than. Therefore, the fingerprint registration program is completed, the processor 110 stops the fingerprint detection operation of the fingerprint sensor 120, generates the fingerprint registration data set based on the pre-registered data set, and completes the fingerprint registration program.

図６は、発明の第二実施形態による指紋登録方法のフローチャートである。図１及び図６を参考にすると、本実施形態の指紋登録方法は、図１の実施形態の電子デバイス１００に適用できる。使用者が指紋登録を行う時、ステップＳ６１０では、電子デバイス１００は、指紋センサ１２０によって対象（即ち、使用者の指）を検出して、一枚のスワイプ画像を取得する。ステップＳ６２０では、プロセッサ１１０は、スワイプ画像を分析して、スワイプ画像の複数の特徴点を取得する。ステップＳ６３１では、プロセッサ１１０は、スワイプ画像が一枚目のスワイプ画像であるか否か判断する。一枚目のスワイプ画像である場合、プロセッサ１１０は、ステップＳ６３２を実行する。ステップＳ６３２では、プロセッサ１１０は、スワイプ画像の最も左上角位置に位置する特徴点の座標パラメータ（Ｘ，Ｙ）を取得し、スワイプ画像の特徴点に基づき、事前登録データセットを生成し、事前登録データセットの基礎画像パラメータ（ｈ）を取得する。ステップＳ６３３では、プロセッサ１１０は、基礎画像パラメータ（ｈ）と座標パラメータ（Ｘ，Ｙ）に基づき、ディスプレイ１４０に参考画像の完成領域を表示する。一枚目のスワイプ画像ではない場合、プロセッサ１１０は、ステップＳ６３４を実行する。ステップＳ６３４では、プロセッサ１１０は、スワイプ画像の特徴点を事前登録データセットに組み込み、合併後の事前登録データセットを生成する。 FIG. 6 is a flowchart of a fingerprint registration method according to the second embodiment of the invention. Referring to FIGS. 1 and 6, the fingerprint registration method of the present embodiment can be applied to the electronic device 100 of the embodiment of FIG. When the user performs fingerprint registration, in step S610, the electronic device 100 detects the target (that is, the user's finger) by the fingerprint sensor 120 and acquires one swipe image. At step S620, the processor 110 analyzes the swipe image to obtain a plurality of feature points of the swipe image. In step S631, the processor 110 determines whether the swipe image is the first swipe image. If it is the first swipe image, the processor 110 executes step S632. In step S632, the processor 110 acquires the coordinate parameter (X, Y) of the feature point located at the upper left corner position of the swipe image, generates the pre-registration data set based on the feature point of the swipe image, and performs the pre-registration. Get the basic image parameters (h) of the dataset. In step S633, the processor 110 displays the completed area of the reference image on the display 140 based on the basic image parameter (h) and the coordinate parameter (X, Y). If it is not the first swipe image, the processor 110 executes step S634. In step S634, the processor 110 incorporates the feature points of the swipe image into the pre-registered data set to generate the merged pre-registered data set.

ステップＳ６４０では、プロセッサ１１０は、事前登録データセットを分析して、第一合併画像パラメータ（Ｈ）及び第二合併画像パラメータ（Ｗ）を取得し、第一合併画像パラメータ（Ｈ）と基礎画像パラメータ（ｈ）に基づき、画像調整パラメータ（Ｓｔｅｐ＝Ｈ−ｈ）を取得する。第一合併画像パラメータ（Ｈ）は、事前登録データセットにおいて、合併後の特徴点が長さ方向で距離が最も離れている２つの特徴点の距離であってもよく、複数枚のスワイプ画像の長さ合計から複数枚のスワイプ画像の重なり部分を減じた長さであってもよい。第二合併画像パラメータ（Ｗ）は、合併後の特徴点が幅方向で距離が最も離れている２つの特徴点の距離である。ステップＳ６４１では、プロセッサ１１０は、第一合併画像パラメータ（Ｈ）を新たな基礎画像パラメータ（ｈ）とする。ステップＳ６５０では、プロセッサ１１０は、画像調整パラメータ（Ｓｔｅｐ）に基づき、参考画像の完成領域の範囲を増加する。ステップＳ６８０では、プロセッサ１１０は、第一合併画像パラメータ（Ｈ）が第一プリセット閾値より大きいか否か判断し、第二合併画像パラメータ（Ｗ）が第二プリセット閾値より大きいか否か判断する。大きい場合、プロセッサ１１０は、指紋センサ１２０の指紋検出操作を終了し、合併後の事前登録データセットに基づき、指紋登録データを生成し、指紋登録プログラムを完成する。大きくない場合、プロセッサ１１０は、ステップＳ６１０を実行して、次の一枚のスワイプ画像を取得する。 In step S640, the processor 110 analyzes the pre-registered data set to obtain the first merged image parameter (H) and the second merged image parameter (W), and the first merged image parameter (H) and the basic image parameter. An image adjustment parameter (Step=H−h) is acquired based on (h). The first merged image parameter (H) may be the distance between the two feature points that have the longest distance in the length direction after the merged feature point in the pre-registered data set. It may be a length obtained by subtracting the overlapping portion of a plurality of swipe images from the total length. The second merged image parameter (W) is the distance between two feature points that have the longest distance in the width direction of the feature points after the merge. In step S641, the processor 110 sets the first merged image parameter (H) as a new basic image parameter (h). In step S650, the processor 110 increases the range of the completed area of the reference image based on the image adjustment parameter (Step). In step S680, the processor 110 determines whether the first merged image parameter (H) is larger than the first preset threshold and whether the second merged image parameter (W) is larger than the second preset threshold. If it is larger, the processor 110 ends the fingerprint detection operation of the fingerprint sensor 120, generates fingerprint registration data based on the pre-registered data set after the merger, and completes the fingerprint registration program. If not, the processor 110 executes step S610 to obtain the next swipe image.

図７は、発明の第二実施形態による事前登録データセットの概略図である。図８Ａ〜図８Ｇは、発明の第二実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。図１、図７及び図８Ａ〜図８Ｇを参考にすると、本実施形態は、上記図６のフローにも適用できる。本実施形態において、指紋センサ１２０が指Ｆの一枚目のスワイプ画像７１０を取得した後、プロセッサ１１０は、スワイプ画像７１０を分析して、スワイプ画像７１０の複数の特徴点７１１を取得し、基礎画像パラメータｈ及びスワイプ画像７１０の最も左上角位置に位置する特徴点の座標パラメータ（Ｘ１，Ｙ１）を取得する。プロセッサ１１０は、座標パラメータ（Ｘ１，Ｙ１）及び基礎画像パラメータｈに基づき、参考画像８１０の完成領域８１１を表示する。説明しなければならないこととして、スワイプ画像７１０の面積は、指紋センサ１２０の検出表面の面積に等しい。本実施形態において、基礎画像パラメータｈが指すことができるのは、スワイプ画像７１０のこれらの特徴点７１１の長さ方向距離が最も離れた２つの特徴点の距離であるが、本発明はこれに限定しない。別の実施形態において、基礎画像パラメータｈが指すことができるのもスワイプ画像７１０の長さであり、即ち、指紋センサ１２０の検出表面の長さである。プロセッサ１１０は、スワイプ画像７１０の特徴点７１１に基づき、事前登録データセットを生成する。続いて、プロセッサ１１０は、次の一枚のスワイプ画像７２０を継続して取得し、スワイプ画像７２０の特徴点を取得する。本実施形態において、プロセッサ１１０は、スワイプ画像７２０の特徴点を事前登録データセット（即ち、スワイプ画像７１０と７２０の特徴点が合併する）に組み込み、合併後の事前登録データセット７００を生成する。プロセッサ１１０は、合併後の事前登録データセット７００の第一合併画像パラメータＨ（即ち、最大画像長さ）及び第二合併画像パラメータＷ（即ち、最大画像幅）を計算する。プロセッサ１１０は、第一合併画像パラメータＨから基礎画像パラメータｈを減じて、画像調整パラメータＳｔｅｐを取得する。続いて、プロセッサ１１０は、画像調整パラメータＳｔｅｐに基づき、参考画像８１０の完成領域８１１の長さを増加する。 FIG. 7 is a schematic diagram of a pre-registered data set according to the second embodiment of the invention. 8A-8G are schematic diagrams of finger swipe actions and corresponding user interface displays according to a second embodiment of the invention. Referring to FIGS. 1, 7 and 8A to 8G, the present embodiment can be applied to the flow of FIG. 6 described above. In the present embodiment, after the fingerprint sensor 120 acquires the first swipe image 710 of the finger F, the processor 110 analyzes the swipe image 710 to acquire a plurality of feature points 711 of the swipe image 710, and The image parameter h and the coordinate parameter (X1, Y1) of the feature point located at the uppermost left corner of the swipe image 710 are acquired. The processor 110 displays the completed area 811 of the reference image 810 based on the coordinate parameter (X1, Y1) and the basic image parameter h. It should be noted that the area of swipe image 710 is equal to the area of the detection surface of fingerprint sensor 120. In the present embodiment, the basic image parameter h can point to the distance between the two feature points of the swipe image 710, which have the longest distance in the longitudinal direction. Not limited. In another embodiment, the base image parameter h can also point to the length of the swipe image 710, ie the length of the detection surface of the fingerprint sensor 120. The processor 110 generates a pre-registered data set based on the feature points 711 of the swipe image 710. Subsequently, the processor 110 continuously acquires the next one swipe image 720 and acquires the feature points of the swipe image 720. In this embodiment, the processor 110 incorporates the feature points of the swipe image 720 into the pre-registered data set (ie, the feature points of the swipe images 710 and 720 are merged) to generate the merged pre-registered data set 700. The processor 110 calculates a first merged image parameter H (ie, maximum image length) and a second merged image parameter W (ie, maximum image width) of the pre-registered dataset 700 after merger. The processor 110 subtracts the basic image parameter h from the first merged image parameter H to obtain the image adjustment parameter Step. Subsequently, the processor 110 increases the length of the completed area 811 of the reference image 810 based on the image adjustment parameter Step.

即ち、プロセッサ１１０が一枚のスワイプ画像の特徴点を組み込む毎に、プロセッサ１１０は、合併後の事前登録データセット７００が新たに加える長さを計算し、これによりユーザーインターフェース８００の参考画像８１０の完成領域８１１の長さを調整する。注意すべきこととして、毎回の指のスワイプ動作に対応して，参考画像８１０の完成領域８１１の幅は、プリセットしたものであり、一定である。即ち、指のスワイプ動作を１回増加さえすれば、参考画像８１０の完成領域８１１の幅は増加する。毎回の指のスワイプ動作の過程において、一枚のスワイプ画像の特徴点データを新たに加える毎に、プロセッサ１１０は、完成領域８１１の長さを対応して増加する。また、プロセッサ１１０は、複数毎のスワイプ画像を事前登録データセット７００に合併し、プロセッサ１１０は、第一合併画像パラメータＨ及び第二合併画像パラメータＷがそれぞれ第一及び第二プリセット閾値より大きいか否か判断する。大きい場合、十分な指紋登録データを取得したことを表す。例えば、第一合併画像パラメータＨが第一プリセット閾値より大きく、第二合併画像パラメータＷが第二プリセット閾値より大きい時、十分な数の指紋特徴点を取得したことを表す。十分な数のスワイプ画像を取得したことを表してもよい。したがって、プロセッサ１１０は、事前登録データセットを指紋登録データセットとしてメモリ１３０に記憶して、指紋登録プログラムを完成する。大きくない場合、プロセッサ１１０は、ディスプレイ１４０によってユーザーインターフェースに表示・提示して、使用者に再度指をスワイプするように要求する。２回目のスワイプの過程において、プロセッサ１１０は、指紋センサ１２０によって２回目にスワイプした一枚目のスワイプ画像７３０を取得し、プロセッサ１１０は、スワイプ画像７３０の特徴点７１１を取り出し、これを事前登録データセット７００に組み込む。プロセッサ１１０は、スワイプ画像７１０（即ち、１回目のスワイプ時に取得した一枚目のスワイプ画像）の最も左上角位置に位置する特徴点の座標パラメータ（Ｘ１，Ｙ１）及び２回目のスワイプ時に取得した一枚目のスワイプ画像７３０の最も左上角位置に位置する特徴点の座標パラメータ（Ｘ２，Ｙ２）に基づき、変位パラメータ（Δｘ，Δｙ）（Ｘ２−Ｘ１＝Δｘ，Ｙ２−Ｙ１＝Δｙ））を取得する。プロセッサ１１０は、変位パラメータ（Δｘ，Δｙ）に基づき、ユーザーインターフェース８００の参考画像８１０の完成領域８１１の２回目のスワイプ動作に対応して増加した幅の範囲及び位置を決定する。 That is, each time the processor 110 incorporates the feature points of one swipe image, the processor 110 calculates the length newly added by the pre-registered data set 700 after the merger, and thereby the reference image 810 of the user interface 800 is displayed. The length of the completed area 811 is adjusted. It should be noted that the width of the completed area 811 of the reference image 810 is preset and constant in correspondence with each swipe operation of the finger. That is, the width of the completed region 811 of the reference image 810 increases if the finger swipe motion is increased only once. In the process of each swipe operation of the finger, every time the feature point data of one swipe image is newly added, the processor 110 correspondingly increases the length of the completed region 811. Further, the processor 110 merges a plurality of swipe images into the pre-registered data set 700, and the processor 110 determines whether the first merged image parameter H and the second merged image parameter W are larger than the first and second preset thresholds, respectively. Judge whether or not. If it is large, it means that sufficient fingerprint registration data has been acquired. For example, when the first combined image parameter H is larger than the first preset threshold value and the second combined image parameter W is larger than the second preset threshold value, it means that a sufficient number of fingerprint feature points are acquired. It may indicate that a sufficient number of swipe images have been acquired. Therefore, the processor 110 stores the pre-registration data set as the fingerprint registration data set in the memory 130 to complete the fingerprint registration program. If not, the processor 110 displays and presents it on the user interface by the display 140 and requests the user to swipe his finger again. In the process of the second swipe, the processor 110 acquires the first swipe image 730 swiped by the fingerprint sensor 120 for the second time, and the processor 110 extracts the feature point 711 of the swipe image 730 and pre-registers it. Incorporate into dataset 700. The processor 110 acquires the coordinate parameter (X1, Y1) of the feature point located at the upper left corner position of the swipe image 710 (that is, the first swipe image acquired during the first swipe) and the second swipe during the second swipe. A displacement parameter (Δx, Δy) (X2-X1=Δx, Y2-Y1=Δy)) is calculated based on the coordinate parameters (X2, Y2) of the feature point located at the upper leftmost corner of the first swipe image 730. get. The processor 110 determines the range and position of the increased width corresponding to the second swipe motion of the completed area 811 of the reference image 810 of the user interface 800 based on the displacement parameter (Δx, Δy).

言い換えると、２回目のスワイプ動作を行う時、使用者の指Ｆは、右または左にずれて、プロセッサ１１０は、２回目のスワイプ時に取得した一枚目のスワイプ画像７３０の最も左上角位置の特徴点の座標パラメータ（Ｘ２，Ｙ２）、即ち、変位パラメータ（Δｘ，Δｙ）によって、２回目にスワイプに対応する完成領域８１１の幅の範囲の変化を決定し、一枚目のスワイプ画像７３０の基礎画像パラメータｈに基づき、完成領域８１１の２回目のスワイプ動作に対応して新たに加える部分８１１ｂの長さを決定する。プロセッサ１１０は、座標パラメータ（Ｘ２，Ｙ２）基づき、完成領域８１１の２回目のスワイプ動作に対応する部分８１１ｂの開始位置を表示する。即ち、２回目のスワイプ時、完成領域８１１の幅方向の範囲は、使用者の指Ｆのずれ具合に基づいて増加する。その後、プロセッサ１１０は、その後取得するスワイプ画像及びそれが対応する画像調整パラメータＳｔｅｐに基づき、完成領域８１１の２回目のスワイプ動作に対応する部分８１１ｂの長さを増加する。一枚のスワイプ画像を取得する毎に、プロセッサ１１０は、第一合併画像パラメータＨ及び第二合併画像パラメータＷがそれぞれ第一及第二プリセット閾値より大きいか否か再度判断して、指紋登録プログラムを終了するか否か決定する。 In other words, when the second swipe operation is performed, the user's finger F shifts to the right or left, and the processor 110 causes the first swipe image 730 acquired at the second swipe to be located at the uppermost left corner position. Based on the coordinate parameters (X2, Y2) of the feature points, that is, the displacement parameters (Δx, Δy), the change of the width range of the completed area 811 corresponding to the second swipe is determined, and the swipe image 730 of the first sheet is scanned. Based on the basic image parameter h, the length of the newly added portion 811b corresponding to the second swipe operation of the completed area 811 is determined. The processor 110 displays the start position of the portion 811b corresponding to the second swipe operation of the completed area 811, based on the coordinate parameters (X2, Y2). That is, at the time of the second swipe, the range of the completed area 811 in the width direction increases based on the degree of displacement of the user's finger F. After that, the processor 110 increases the length of the portion 811b corresponding to the second swipe operation of the completed area 811, based on the swipe image acquired thereafter and the image adjustment parameter Step to which the swipe image corresponds. Every time one swipe image is acquired, the processor 110 determines again whether the first merged image parameter H and the second merged image parameter W are larger than the first and second preset thresholds, respectively, and the fingerprint registration program. Decide whether to end.

例を挙げると、図８Ａ〜図８Ｇを例とする。図８Ａに示すように、使用者が指Ｆを電子デバイス１００の指紋センサ１２０に押圧して、１回目のスワイプ動作を行う時、ユーザーインターフェース８００の参考画像８１０に対応する完成領域８１１を表示して、指紋センサ１２０が取得した一枚目のスワイプ画像に対応させる。図８Ｂ及び図８Ｃに示すように、指Ｆの１回目のスワイプの過程において、参考画像８１０の完成領域８１１の長さ範囲は、対応して調整する。また、指Ｆの１回目のスワイプの過程において、プロセッサ１１０は、画像幅を一定にするように、画像調整パラメータＳｔｅｐに基づき、参考画像８１０の完成領域８１１の長さ範囲を増加する。即ち、指Ｆの１回目のスワイプ動作の過程において、参考画像８１０の完成領域８１１の幅ＤＷ１は一定であり、その長さは、新たなスワイプ画像を取得した後、増加する。図８Ｄに示すように、使用者の指Ｆが指紋センサ１２０から離れる時、参考画像８１０の完成領域８１１の範囲は、増加を停止する。しかしながら、指紋登録は、未完成であるため、ユーザーインターフェース８００は、依然として、この参考画像８１０及びそれが有する完成領域８１１に留まり、使用者に再度指をスワイプするように提示及び要求する。したがって、図８Ｅ及び図８Ｆに示すように、使用者の指は、電子デバイス１００の指紋センサ１２０を再度押圧して２回目のスワイプ動作を行う。１回目のスワイプ時の指を置く位置に対して、使用者の指は、２回目のスワイプ時、その位置は、右上方にある距離変位する。２回目のスワイプ動作の一枚目のスワイプ画像を取得した後、プロセッサ１１０は、その最も左上角位置の特徴点の座標パラメータ（Ｘ２，Ｙ２）を計算し、（Ｘ２，Ｙ２）と１回目のスワイプ時に取得した一枚目のスワイプ画像の最も左上角位置の特徴点の座標パラメータ（Ｘ１，Ｙ１）を互いに減じて、変位パラメータ（Δｘ，Δｙ）（Ｘ２−Ｘ１＝Δｘ，Ｙ２−Ｙ１＝Δｙ）を取得し、（Δｘ，Δｙ）に基づき、２回目にスワイプした一枚目のスワイプ画像に対応する表示位置、即ち、完成領域８１１の２回目のスワイプに対応して新たに加える部分８１１ｂの開始位置を決定する。図に示すように、指の２回目のスワイプの過程において、参考画像８１０の完成領域８１１の範囲は、継続して増加し（即ち、８１１ｂ）、プロセッサ１１０は、変位パラメータ（Δｘ，Δｙ）に基づき、来决定完成領域８１１の新たに加える部分８１１ｂの開始位置を決定し、画像幅を一定にするように、画像調整パラメータＳｔｅｐに基づき、参考画像８１０の完成領域８１１の２回目のスワイプに対応する部分８１１ｂの長さ範囲を増加する。即ち、指Ｆの２回目のスワイプ動作の過程において、参考画像８１０の完成領域８１１の新たに加える部分８１１ｂの幅ＤＷ２は、一定であり、その長さは、新たなスワイプ画像を取得した後、増加する。最後に、図８Ｇに示すように、事前登録データセット７００の第一合併画像パラメータＨ及び第二合併画像パラメータＷがそれぞれ第一及び第二プリセット閾値より大きい時、参考画像８１０の完成領域８１１の範囲も十分な長さ及び幅まで増加するため、プロセッサ１１０は、指紋センサ１２０の指紋検出操作を停止して、指紋登録プログラムを完成する。 For example, FIGS. 8A to 8G are taken as examples. As shown in FIG. 8A, when the user presses the finger F against the fingerprint sensor 120 of the electronic device 100 to perform the first swipe operation, the completed area 811 corresponding to the reference image 810 of the user interface 800 is displayed. Then, the first swipe image acquired by the fingerprint sensor 120 is made to correspond to the first swipe image. As shown in FIGS. 8B and 8C, in the process of the first swipe of the finger F, the length range of the completed region 811 of the reference image 810 is adjusted correspondingly. Further, in the process of the first swipe of the finger F, the processor 110 increases the length range of the completed region 811 of the reference image 810 based on the image adjustment parameter Step so as to keep the image width constant. That is, in the process of the first swipe operation of the finger F, the width DW1 of the completed area 811 of the reference image 810 is constant, and its length increases after acquiring a new swipe image. As shown in FIG. 8D, when the user's finger F moves away from the fingerprint sensor 120, the range of the completed region 811 of the reference image 810 stops increasing. However, since the fingerprint enrollment is incomplete, the user interface 800 still remains in this reference image 810 and its completed area 811 and presents and requests the user to swipe their finger again. Therefore, as shown in FIGS. 8E and 8F, the user's finger again presses the fingerprint sensor 120 of the electronic device 100 to perform the second swipe operation. The position of the user's finger at the time of the first swipe is displaced by a certain distance to the upper right at the time of the second swipe. After acquiring the first swipe image of the second swipe operation, the processor 110 calculates the coordinate parameter (X2,Y2) of the feature point at the upper leftmost corner position, and (X2,Y2) and the first time. The displacement parameters (Δx, Δy) (X2-X1=Δx, Y2-Y1=Δy) are subtracted from each other by subtracting the coordinate parameters (X1, Y1) of the feature point at the upper left corner position of the first swipe image acquired at the time of swipe. ) Is acquired, and based on (Δx, Δy), the display position corresponding to the first swipe image swiped the second time, that is, the portion 811b to be newly added corresponding to the second swipe of the completed region 811. Determine the starting position. As shown in the figure, in the process of swiping the finger for the second time, the range of the completed region 811 of the reference image 810 continuously increases (that is, 811b), and the processor 110 sets the displacement parameter (Δx, Δy). On the basis of the image adjustment parameter Step, the start position of the newly added portion 811b of the final decision area 811 is determined, and the second swipe of the completed area 811 of the reference image 810 is performed based on the image adjustment parameter Step. The length range of the portion 811b to be processed is increased. That is, in the process of the second swipe operation of the finger F, the width DW2 of the newly added portion 811b of the completed region 811 of the reference image 810 is constant, and its length is the same as that obtained after a new swipe image is acquired. To increase. Finally, as shown in FIG. 8G, when the first merged image parameter H and the second merged image parameter W of the pre-registration data set 700 are larger than the first and second preset thresholds, respectively, the completed area 811 of the reference image 810 is displayed. Since the range also increases to a sufficient length and width, the processor 110 stops the fingerprint detection operation of the fingerprint sensor 120 and completes the fingerprint registration program.

図９は、発明の第三実施形態による指紋登録方法のフローチャートである。図１及び図９を参考にすると、本実施形態の指紋登録方法は、図１の実施形態の電子デバイス１００に適用できる。使用者が指紋登録を行う時、ステップＳ９１０では、電子デバイス１００は、指紋センサ１２０によって対象（即ち、使用者の指）を検出して、一枚のスワイプ画像を取得する。ステップＳ９２０では、プロセッサ１１０は、スワイプ画像を分析して、スワイプ画像の複数の特徴点を取得し、スワイプ画像の最も左上角位置に位置する特徴点の座標パラメータ（Ｘ，Ｙ）を取得する。ステップＳ９２２では、プロセッサ１１０は、スワイプ画像が一枚目のスワイプ画像であるか否か判断する。一枚目のスワイプ画像である場合、ステップＳ９２４を実行する。ステップＳ９２４では、プロセッサ１１０は、スワイプ画像の特徴点に基づき、事前登録データセットを生成する。続いて、ステップＳ９２５では、プロセッサ１１０は、座標パラメータ（Ｘ，Ｙ）及びスワイプ画像の面積に基づき、対応する完成領域をユーザーインターフェースの参考画像に表示する。注意すべきこととして、スワイプ画像の面積は、指紋センサ１２０の検出表面の面積に同等である。一枚目のスワイプ画像ではない場合、ステップＳ９２６を実行する。ステップＳ９２６では、プロセッサ１１０は、スワイプ画像の特徴点を事前登録データセットに組み込む。ステップＳ９４０では、プロセッサ１１０は、座標パラメータ（Ｘ，Ｙ）及びスワイプ画像の面積に基づき、完成領域の範囲を増加する。ステップＳ９８０では、プロセッサ１１０は、事前登録データセットの総面積がプリセット閾値より大きいか否か判断する。事前登録データセットの総面積は、全スワイプ画像の面積の合計からスワイプ画像が重なる領域を減じたものを表してもよく、事前登録データセット中に含まれる特徴点の数を表してもよい。言い換えると、実施形態において、ステップＳ９８０では、プロセッサ１１０は、事前登録データセットに含まれる特徴点の数がプリセット閾値より大きいか否か判断する。大きい場合、プロセッサ１１０は、指紋センサ１２０の指紋検出操作を終了し、合併後の事前登録データセットに基づき、指紋登録データを生成し、指紋登録プログラムを完成する。大きくない場合、プロセッサ１１０は、ステップＳ９１０を実行して、次の一枚のスワイプ画像を検出並びに取得する。 FIG. 9 is a flowchart of a fingerprint registration method according to the third embodiment of the invention. Referring to FIGS. 1 and 9, the fingerprint registration method of this embodiment can be applied to the electronic device 100 of the embodiment of FIG. When the user performs fingerprint registration, in step S910, the electronic device 100 detects the target (that is, the user's finger) by the fingerprint sensor 120 and acquires one swipe image. In step S920, the processor 110 analyzes the swipe image, obtains a plurality of feature points of the swipe image, and obtains coordinate parameters (X, Y) of the feature point located at the uppermost left corner position of the swipe image. In step S922, processor 110 determines whether the swipe image is the first swipe image. If it is the first swipe image, step S924 is executed. At step S924, the processor 110 generates a pre-registered data set based on the feature points of the swipe image. Subsequently, in step S925, the processor 110 displays a corresponding completed area on the reference image of the user interface based on the coordinate parameter (X, Y) and the area of the swipe image. It should be noted that the area of the swipe image is equivalent to the area of the detection surface of the fingerprint sensor 120. If it is not the first swipe image, step S926 is executed. In step S926, the processor 110 incorporates the swipe image feature points into the pre-registered data set. In step S940, the processor 110 increases the range of the completed area based on the coordinate parameter (X, Y) and the area of the swipe image. In step S980, the processor 110 determines whether the total area of the pre-registered data set is larger than the preset threshold. The total area of the pre-registered data set may represent the sum of the areas of all swipe images minus the area where the swipe images overlap, or may represent the number of feature points included in the pre-registered data set. In other words, in the embodiment, in step S980, the processor 110 determines whether the number of feature points included in the pre-registered data set is greater than a preset threshold. If it is larger, the processor 110 ends the fingerprint detection operation of the fingerprint sensor 120, generates fingerprint registration data based on the pre-registered data set after the merger, and completes the fingerprint registration program. If not, the processor 110 executes step S910 to detect and acquire the next one swipe image.

図１０は、発明の第三実施形態による事前登録データセットの概略図である。図１１Ａ〜図１１Ｉは、発明の第三実施形態による指のスワイプ動作及び対応するユーザーインターフェース表示の概略図である。図１、図１０及び図１１Ａ〜図１１Ｉを合わせて／参考にして以下に説明する。また、本実施形態は、上述図９のフローにも適用できる。本実施形態において、指紋センサ１２０が指Ｆの一枚目のスワイプ画像１０１０を取得した後、プロセッサ１１０は、スワイプ画像１０１０を分析して、スワイプ画像１０１０の複数の特徴点１０１１を取得し、スワイプ画像１０１０の最も左上角位置に位置する特徴点１０１１の座標パラメータ（Ｘ１，Ｙ１）を取得する。図１１Ａに示すように、プロセッサ１１０は、座標パラメータ（Ｘ１，Ｙ１）及びスワイプ画像１０１０の面積（即ち、指紋センサ１２０の検出表面の面積）に基づき、参考画像１１１０の完成領域１１１１をユーザーインターフェース１１００に表示する。また、プロセッサ１１０は、スワイプ画像１０１０の特徴点に基づき、事前登録データを生成する。 FIG. 10 is a schematic diagram of a pre-registered data set according to the third embodiment of the invention. 11A to 11I are schematic diagrams of a finger swipe motion and a corresponding user interface display according to a third embodiment of the invention. A description will be given below with reference to FIGS. 1, 10 and 11A to 11I together/with reference. The present embodiment can also be applied to the flow of FIG. 9 described above. In the present embodiment, after the fingerprint sensor 120 acquires the first swipe image 1010 of the finger F, the processor 110 analyzes the swipe image 1010 to acquire a plurality of feature points 1011 of the swipe image 1010 and swipe. The coordinate parameter (X1, Y1) of the feature point 1011 located at the upper left corner position of the image 1010 is acquired. As shown in FIG. 11A, the processor 110 may determine the completed area 1111 of the reference image 1110 based on the coordinate parameters (X1, Y1) and the area of the swipe image 1010 (that is, the area of the detection surface of the fingerprint sensor 120) in the user interface 1100. To display. The processor 110 also generates pre-registration data based on the feature points of the swipe image 1010.

続いて、プロセッサ１１０は、次の一枚のスワイプ画像１０２０を取得並びに分析し、スワイプ画像１０２０の複数の特徴点１０１１を取得する。本実施形態において、プロセッサ１１０は、スワイプ画像１０１０と１０２０の特徴点を比較し、スワイプ画像１０１０と１０２０に同時に含む特徴点を探し出して、スワイプ画像１０１０と１０２０の相対位置関係を取得し、スワイプ画像１０２０の最も左上角位置に位置する特徴点の座標パラメータ（Ｘ２，Ｙ２）を取得する。図１１Ｂに示すように、プロセッサ１１０は、座標パラメータ（Ｘ２，Ｙ２）及びスワイプ画像１０２０の面積に基づき、参考画像１１１０の完成領域１１１１の表示範囲を増加する。また、プロセッサ１１０は、スワイプ画像１０２０の特徴点を事前登録データに組み込み、合併後の事前登録データを生成する。 Subsequently, the processor 110 acquires and analyzes the next one swipe image 1020 to acquire a plurality of feature points 1011 of the swipe image 1020. In the present embodiment, the processor 110 compares the feature points of the swipe images 1010 and 1020, finds the feature points that are included in the swipe images 1010 and 1020 at the same time, and obtains the relative positional relationship between the swipe images 1010 and 1020. The coordinate parameters (X2, Y2) of the feature point located at the uppermost left corner position of 1020 are acquired. As shown in FIG. 11B, the processor 110 increases the display range of the completed region 1111 of the reference image 1110 based on the coordinate parameter (X2, Y2) and the area of the swipe image 1020. Further, the processor 110 incorporates the characteristic points of the swipe image 1020 into the pre-registration data to generate the pre-registration data after the merger.

即ち、プロセッサ１１０は、一枚のスワイプ画像を取得する毎に、その特徴点を事前登録データに組み込む。また、プロセッサ１１０は、スワイプ画像の最も左上角位置に位置する特徴点の座標パラメータを取得して、ユーザーインターフェース１１００の参考画像１１１０の完成領域１１１１の増加に必要な範囲及び位置を決定するのに用いる。注意すべきこととして、プロセッサ１１０は、事前登録データの総面積がプリセット閾値より大きいか否か判断することで、指紋登録を終了するか否か決定する。事前登録データの総面積がプリセット閾値より大きくない場合、プロセッサ１１０は、次の一枚のスワイプ画像を検出並びに取得する。図１０及び図１１Ｅ〜図１１Ｆに示すように、指紋登録の過程において、使用者は、指の１回目のスワイプ後、指は、指紋センサ１２０から離れる。まだ十分な指紋データを取得していない、即ち、事前登録データの総面積は、まだプリセット閾値より大きくない場合、プロセッサ１１０は、ディスプレイ１４０によってユーザーインターフェースに表示・提示して、使用者に再度指をスワイプするように要求する。２回目のスワイプの過程において、プロセッサ１１０は、２回目にスワイプした一枚目のスワイプ画像１０３０を取得し、プロセッサ１１０は、スワイプ画像１０３０の特徴点を取り出し、これを事前登録データセットに組み込み、スワイプ画像１０３０の最も左上角位置に位置する特徴点の座標パラメータ（Ｘｎ，Ｙｎ）を探し出し、座標パラメータ（Ｘｎ，Ｙｎ）及びスワイプ画像１０３０の面積に基づき、ユーザーインターフェース１１００の参考画像１１１０の完成領域１１１１の範囲を増加する。 That is, the processor 110 incorporates the feature point into the pre-registration data every time one swipe image is acquired. In addition, the processor 110 may acquire coordinate parameters of the feature point located at the upper leftmost position of the swipe image to determine a range and a position required to increase the completed area 1111 of the reference image 1110 of the user interface 1100. To use. It should be noted that the processor 110 determines whether to finish the fingerprint registration by determining whether the total area of the pre-registration data is larger than the preset threshold. If the total area of the pre-registered data is not larger than the preset threshold, the processor 110 detects and acquires the next one swipe image. As shown in FIGS. 10 and 11E to 11F, in the process of fingerprint registration, the user separates the finger from the fingerprint sensor 120 after the first swipe of the finger. If not enough fingerprint data has been acquired yet, that is, the total area of the pre-registered data is not already larger than the preset threshold, the processor 110 displays and presents it on the user interface by the display 140 to re-instruct the user. Request to swipe. In the process of the second swipe, the processor 110 acquires the first swipe image 1030 swiped the second time, the processor 110 extracts the feature points of the swipe image 1030, and incorporates the feature points in the pre-registered data set, The coordinate parameter (Xn, Yn) of the feature point located at the uppermost left corner of the swipe image 1030 is searched for, and the completed area of the reference image 1110 of the user interface 1100 is calculated based on the coordinate parameter (Xn, Yn) and the area of the swipe image 1030. Increase the 1111 range.

特に説明しなければならないこととして、事前登録データ及びスワイプ画像１０３０の特徴点（即ち、繰り返し出てくる特徴点を探し出す）を比較及び分析することで、プロセッサ１１０は、スワイプ画像１０３０と以前に取得したスワイプ画像との間の相対位置関係を算出して、これにより座標パラメータ（Ｘｎ，Ｙｎ）を取得してもよい。言い換えると、プロセッサ１１０は、スワイプ画像１０３０と以前に取得したスワイプ画像との間の相対位置関係に基づき、完成領域１１１１を参考画像１１１０に対応して表示する。更に、プロセッサ１１０は、新たな事前登録データの総面積がプリセット閾値より大きいか否か判断して、指紋登録を終了するか否か決定する。 Of particular note, the processor 110 compares the pre-registered data and the feature points of the swipe image 1030 (i.e., looks for repeatedly appearing feature points) to enable the processor 110 to capture the swipe image 1030 previously. The relative positional relationship between the swipe image and the swipe image may be calculated, and the coordinate parameter (Xn, Yn) may be acquired from this. In other words, the processor 110 displays the completed area 1111 corresponding to the reference image 1110 based on the relative positional relationship between the swipe image 1030 and the previously acquired swipe image. Further, the processor 110 determines whether the total area of the new pre-registration data is larger than the preset threshold and determines whether to end the fingerprint registration.

例を挙げると、図１１Ａ〜図１１Ｉを例とする。図１１Ａに示すように、使用者が指Ｆを電子デバイス１００の指紋センサ１２０に置いてスワイプ動作を行う時、ユーザーインターフェース１１００の参考画像１１１０に完成領域１１１１を表示し、指紋センサ１２０を介して取得したスワイプ画像に対応させる。図１１Ｂ〜図１１Ｄに示すように、指Ｆをスワイプする過程において、参考画像１１１０の完成領域１１１１の範囲は、対応して調整する。図１１Ｅに示すように、使用者の指Ｆが指紋センサ１２０から離れる時、参考画像１１１０の完成領域１１１１の範囲は、増加を停止する。しかしながら、指紋登録は、未完成であるため、ユーザーインターフェース１１００は、依然として、この参考画像１１１０の以前の完成領域１１１１に留まり、使用者に再度指をスワイプするように提示及び要求する。図１１Ｆ〜図１１Ｈに示すように、使用者の指Ｆを再び電子デバイス１００の指紋センサ１２０に置いてスワイプ動作を行う。参考画像１１１０の完成領域１１１１の範囲は、使用者のスワイプ動作に対応して増加し続ける。図１１Ｉに示すように、事前登録データの総面積がプリセット閾値より大きい時、プロセッサ１１０は、十分な指紋データを取得したと判断し、参考画像１１１０の完成領域１１１１の範囲も十分な面積に増加して、十分な範囲の参考画像１１１０を覆う。したがって、プロセッサ１１０は、指紋センサ１２０の指紋検出操作を停止し、事前登録データに基づき、指紋登録データを生成して、指紋登録プログラムを完成する。 For example, FIGS. 11A to 11I are taken as examples. As shown in FIG. 11A, when the user puts his/her finger F on the fingerprint sensor 120 of the electronic device 100 to perform a swipe operation, a completed area 1111 is displayed on the reference image 1110 of the user interface 1100, and the completed image is displayed via the fingerprint sensor 120. Corresponds to the acquired swipe image. As shown in FIGS. 11B to 11D, in the process of swiping the finger F, the range of the completed region 1111 of the reference image 1110 is adjusted correspondingly. As shown in FIG. 11E, when the user's finger F moves away from the fingerprint sensor 120, the range of the completed region 1111 of the reference image 1110 stops increasing. However, since the fingerprint enrollment is incomplete, the user interface 1100 still stays in the previously completed area 1111 of this reference image 1110 and presents and requests the user to swipe their finger again. As shown in FIGS. 11F to 11H, the user's finger F is placed again on the fingerprint sensor 120 of the electronic device 100 to perform the swipe operation. The range of the completed region 1111 of the reference image 1110 continues to increase in response to the user's swipe operation. As shown in FIG. 11I, when the total area of the pre-registration data is larger than the preset threshold, the processor 110 determines that sufficient fingerprint data is acquired, and the range of the completed area 1111 of the reference image 1110 is also increased to a sufficient area. Then, the reference image 1110 in a sufficient range is covered. Therefore, the processor 110 stops the fingerprint detection operation of the fingerprint sensor 120, generates fingerprint registration data based on the pre-registration data, and completes the fingerprint registration program.

以上より、本発明のユーザーインターフェースの表示方法及び電子デバイスは、可采集使用者の指の指紋センサにおいて１回か複数回のスワイプ動作で取得した複数のスワイプ画像を採集して、これらのスワイプ画像の特徴点データを合併して、指紋登録データを生成することができる。これらのスワイプ画像の特徴点データを合併する時、本発明の電子デバイスは、これらのスワイプ画像の特徴点の間の再現性と位置関係を更に分析して、対応する画像パラメータ及び／又は座標パラメータを取得する。したがって、本発明のユーザーインターフェースの表示方法及び電子デバイスは、可画像パラメータ及び／又は座標パラメータに基づき、対応して、ディスプレイに、参考画像及びその完成領域を有するユーザーインターフェースを表示して、ユーザーインターフェースの参考画像の完成領域の範囲を動的に調整することができる。即ち、指をスワイプして指紋登録を行う過程において、使用者は、電子デバイスのディスプレイが表示するユーザーインターフェースの参考画像の完成領域の範囲の変化によって指紋登録の進度を知り得ることができる。これにより、使用者が指をスワイプして指紋登録を行う過程において、本発明のユーザーインターフェースの表示方法及び電子デバイスは、リアルタイムの指紋登録進度に関する情報を使用者にて提供し、よりヒューマナイズし、より便利な指紋登録プログラムを提供することができる。 From the above, the user interface display method and the electronic device of the present invention collect a plurality of swipe images acquired by one or more swipe operations in the fingerprint sensor of the user's finger, and then the swipe images are collected. The fingerprint registration data can be generated by merging the feature point data of. When merging the feature point data of these swipe images, the electronic device of the present invention further analyzes the reproducibility and the positional relationship between the feature points of these swipe images to determine the corresponding image parameters and/or coordinate parameters. To get. Therefore, the display method and the electronic device of the user interface of the present invention correspondingly display the user interface having the reference image and its completed area on the display according to the imageable parameter and/or the coordinate parameter, and display the user interface. The range of the completed area of the reference image can be dynamically adjusted. That is, in the process of registering a fingerprint by swiping a finger, the user can know the progress of fingerprint registration by changing the range of the completed area of the reference image of the user interface displayed on the display of the electronic device. Therefore, in the process of swiping a finger by the user to register a fingerprint, the user interface display method and the electronic device of the present invention provide the user with real-time information about the fingerprint registration progress to further enhance humanization. , A more convenient fingerprint registration program can be provided.

本発明は実施形態により以上のように公開したが、本発明を限定するためではなく、当業者は、本発明を逸脱しない精神と範囲内において、幾つかの変更及び修正することができ、本発明の保護範囲は、請求項に限定したものを基準とする。 Although the present invention has been disclosed as described above according to the embodiments, the present invention is not limited to the above, and those skilled in the art can make some changes and modifications within the spirit and scope of the present invention. The protection scope of the invention is based on what is limited to the claims.

１００：電子デバイス
１１０：プロセッサ
１２０：指紋センサ
１３０：メモリ
１４０：ディスプレイ
４１０、４２０、４００、７１０、７２０、７３０、１０１０、１０２０、１０３０：画像
４１１、７１１、１０１１：特徴点
５００、８００、１１００：ユーザーインターフェース
５１０、８１０、１１１０：参考画像
５１１、８１１、８１１ｂ、１１１１：完成領域
ＤＷ１、ＤＷ２：幅
Ｆ：指
ｈ、Ｈ、Ｗ：画像パラメータ
Ｓｔｅｐ：画像調整パラメータ
Ｓ２１０、Ｓ２２０、Ｓ２２５、Ｓ２３０、Ｓ２３２、Ｓ２３５、Ｓ２４０、Ｓ２４５、Ｓ２５０、Ｓ３１０、Ｓ３２０、Ｓ３３１、Ｓ３３２、Ｓ３３３、Ｓ３３４、Ｓ３４０、Ｓ３４１、Ｓ３５０、Ｓ３８０、Ｓ６１０、Ｓ６２０、Ｓ６３１、Ｓ６３３、Ｓ６３２、Ｓ６３４、Ｓ６４０、Ｓ６４１、Ｓ６５０、Ｓ６８０、Ｓ９１０、Ｓ９２０、Ｓ９２２、Ｓ９２４、Ｓ９２５、Ｓ９２６、Ｓ９４０、Ｓ９８０：ステップ
（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘｎ，Ｙｎ）：座標パラメータ
（Δｘ，Δｙ）：変位パラメータ 100: electronic device 110: processor 120: fingerprint sensor 130: memory 140: displays 410, 420, 400, 710, 720, 730, 1010, 1020, 1030: images 411, 711, 1011: feature points 500, 800, 1100: User interfaces 510, 810, 1110: Reference images 511, 811, 811b, 1111: Completed areas DW1, DW2: Width F: Fingers h, H, W: Image parameters Step: Image adjustment parameters S210, S220, S225, S230, S232. , S235, S240, S245, S250, S310, S320, S331, S332, S333, S334, S340, S341, S350, S380, S610, S620, S631, S633, S632, S634, S640, S641, S650, S680, S910. , S920, S922, S924, S925, S926, S940, S980: Steps (X1, Y1), (X2, Y2), (Xn, Yn): Coordinate parameters (Δx, Δy): Displacement parameters

Claims

A method of displaying a user interface applied to fingerprint registration,
Acquiring multiple swipe images with a fingerprint sensor,
Analyzing the plurality of swipe images by a processor to obtain a plurality of feature points of the plurality of swipe images;
Merging the plurality of feature points of the plurality of swipe images into a pre-registered dataset by the processor;
Displaying a completed area in a reference image of a display user interface based on the plurality of swipe images by the processor;
Analyzing the pre-registered data set by the processor to determine whether to terminate the fingerprint registration;
A method for displaying a user interface, comprising:

For each of the plurality of swipe images by the processor,
Analyzing the pre-registered data set to obtain image adjustment parameters;
Determining the range of the completed region of the reference determination image based on the image adjustment parameter;
The method for displaying a user interface according to claim 1, further comprising:

For each of the plurality of swipe images by the processor,
Determine whether the swipe image is the first swipe image, if the swipe image is the first swipe image, based on the feature points of the swipe image, the pre-registered data set Generating and analyzing the pre-registered data set to obtain basic image parameters;
Displaying the completed area in the reference image of the user interface of the display based on the basic image parameters;
The method for displaying a user interface according to claim 2, further comprising:

For each of the plurality of swipe images by the processor,
If the swipe image is not the first swipe image, incorporating the feature points of the swipe image into the pre-registered data set to generate a pre-registered data set after merge,
Analyzing the pre-registered data set after the merger to obtain a merged image parameter, and to obtain the image adjustment parameter based on the merged image parameter and the basic image parameter;
Using the merged image parameter as a new basic image parameter,
Increasing the range of the completed area of the reference image based on the image adjustment parameter;
The method for displaying a user interface according to claim 3, further comprising:

For each of the plurality of swipe images by the processor,
Determining whether the merged image parameter is greater than a preset threshold and deciding whether to terminate the fingerprint registration,
The method for displaying a user interface according to claim 4, further comprising:

For each of the plurality of swipe images by the processor,
Determine whether the swipe image is the first swipe image, if the swipe image is the first swipe image, analyze the swipe image, at the upper left corner position of the swipe image To obtain the coordinate parameters of the feature point located,
Determining the position of the completed region of the reference image based on the coordinate parameters of the feature point located at the upper leftmost position of the swipe image;
The method for displaying a user interface according to claim 3, further comprising:

For each of the plurality of swipe images by the processor,
If the swipe image is not the first swipe image, incorporating the feature points of the swipe image into the pre-registered data set to generate a pre-registered data set after merge,
The merged pre-registered dataset is analyzed to determine a first merged image parameter representing a vertical coverage of the merged pre-registered dataset and a horizontal coverage of the merged pre-registered dataset. Obtaining a second merged image parameter that represents, based on the first merged image parameter and the basic image parameter, to obtain the image adjustment parameter,
Using the first merged image parameter as a new basic image parameter,
Increasing the vertical range of the completed region of the reference image based on the image adjustment parameter;
The method for displaying a user interface according to claim 6, further comprising:

For each of the plurality of swipe images by the processor,
It is determined whether the first merged image parameter is greater than a first preset threshold, the second merged image parameter is greater than a second preset threshold, and it is determined whether the fingerprint registration is terminated. What to do,
The method for displaying a user interface according to claim 7, further comprising:

For each of the plurality of swipe images by the processor,
Analyzing the pre-registered data set to obtain coordinate parameters;
Determining the range of the completed area of the reference image based on the coordinate parameters;
The method for displaying a user interface according to claim 1, further comprising:

For each of the plurality of swipe images by the processor,
Determine whether the swipe image is the first swipe image, if the swipe image is the first swipe image, based on the feature points of the swipe image, the pre-registered data set To generate,
If the swipe image is not the first swipe image, incorporating the feature points of the swipe image into the pre-registered data set to generate a pre-registered data set after merge,
The method for displaying a user interface according to claim 9, further comprising:

For each of the plurality of swipe images by the processor,
Determining whether the total area of the pre-registered datasets after the merger is greater than a preset threshold to determine whether to terminate the fingerprint registration,
The method for displaying a user interface according to claim 10, further comprising:

A fingerprint sensor used to acquire multiple swipe images,
Coupled to the fingerprint sensor, analyzing the plurality of swipe images to obtain a plurality of feature points of the plurality of swipe images, and merging the plurality of feature points of the plurality of swipe images into a pre-registered data set. A processor used to
A display coupled to the processor,
The processor displays the completed area on the reference image of the user interface by the display based on the plurality of swipe images, and the processor analyzes the pre-registered data set to determine whether to finish the fingerprint registration. An electronic device characterized by:

The processor, for each of the plurality of swipe images,
The processor analyzes the pre-registered data set to obtain image adjustment parameters;
The processor determines a range of the completed area of the reference image based on the image adjustment parameter;
13. The electronic device according to claim 12, wherein the electronic device executes.

The processor, for each of the plurality of swipe images, the processor determines whether the swipe image is the first swipe image, the processor, the swipe image is the first swipe image If so, the processor generates the pre-registered data set based on the feature points of the swipe image, analyzes the pre-registered data set, and obtains basic image parameters. ,
The processor displays the completed area in the reference image of the user interface of the display based on the basic image parameter;
The electronic device of claim 13, further comprising:

The processor, for each of the plurality of swipe images,
When the processor determines that the swipe image is not the first swipe image, incorporating the feature points of the swipe image into the pre-registration data set to generate a pre-registration data set after merging. When,
The processor analyzes the pre-registered dataset after the merger to obtain merged image parameters, the processor obtains image adjustment parameters based on the merged image parameters and the basic image parameters;
The processor uses the merged image parameter as a new basic image parameter, and the processor increases the range of the completed region of the reference image based on the image adjustment parameter;
15. The electronic device of claim 14, further comprising:

The processor, for each of the plurality of swipe images,
The processor determines whether the merged image parameter is greater than a preset threshold to determine whether to terminate the fingerprint registration,
16. The electronic device of claim 15, further comprising:

The processor, for each of the plurality of swipe images,
The processor determines whether the swipe image is the first swipe image, and when the processor determines that the swipe image is the first swipe image, the processor determines that the swipe image is the first swipe image. Analyzing the image to obtain coordinate parameters located at the upper leftmost corner of the swipe image;
The processor determines the position of the completed region of the reference image based on the coordinate parameter of the feature point located at the uppermost left corner position of the swipe image;
15. The electronic device of claim 14, further comprising:

The processor, for each of the plurality of swipe images,
If the swipe image is not the first swipe image, the processor incorporates the feature points of the swipe image into the pre-registered dataset to generate a post-merge dataset.
The processor analyzes the merged pre-registered dataset to determine a first merged image parameter representing a vertical coverage of the merged pre-registered dataset and a horizontal direction of the merged pre-registered dataset. Acquiring a second merged image parameter representing a covering range, the processor acquires the image adjustment parameter based on the first merged image parameter and the basic image parameter,
The processor uses the first merged image parameter as a new basic image parameter, and the processor increases the vertical range of the completed region of the reference image based on the image adjustment parameter;
18. The electronic device of claim 17, further comprising:

The processor, for each of the plurality of swipe images,
The processor determines whether the first merged image parameter is greater than a first preset threshold, determines whether the second merged image parameter is greater than a second preset threshold, and ends the fingerprint registration. Determining whether or not,
19. The electronic device of claim 18, further comprising:

The processor, for each of the plurality of swipe images,
The processor analyzes the pre-registered data set to obtain coordinate parameters;
The processor determines a range of the completed area of the reference image based on the coordinate parameter;
13. The electronic device according to claim 12, wherein the electronic device executes.

The processor, for each of the plurality of swipe images,
The processor determines whether the swipe image is the first swipe image, and when the processor determines that the swipe image is the first swipe image, the processor determines that the swipe image is the first swipe image. Generating the pre-registered data set based on the feature points of the image;
When the processor determines that the swipe image is not the first swipe image, incorporating the feature points of the swipe image into the pre-registration data set to generate a pre-registration data set after merging. When,
21. The electronic device of claim 20, further comprising:

The processor, for each of the plurality of swipe images,
The processor determines whether the total area of the pre-registered dataset after the merger is greater than a preset threshold to determine whether to end the fingerprint registration.
22. The electronic device of claim 21, further comprising: