CN104346122B - 可编程显示器、控制方法及计算机可读存储记录介质 - Google Patents

可编程显示器、控制方法及计算机可读存储记录介质 Download PDF

Info

Publication number
CN104346122B
CN104346122B CN201410362586.6A CN201410362586A CN104346122B CN 104346122 B CN104346122 B CN 104346122B CN 201410362586 A CN201410362586 A CN 201410362586A CN 104346122 B CN104346122 B CN 104346122B
Authority
CN
China
Prior art keywords
user
face
access
image data
application program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410362586.6A
Other languages
English (en)
Other versions
CN104346122A (zh
Inventor
藤原靖卓
山下隆义
川上文雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104346122A publication Critical patent/CN104346122A/zh
Application granted granted Critical
Publication of CN104346122B publication Critical patent/CN104346122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明提供能够通过进行脸部认证来容许对应用程序的访问的可编程显示器、控制方法及程序。可编程显示器(1)用于控制对应用程序的访问。可编程显示器(1)存储有用户的脸部的特征数据。可编程显示器(1)基于拍摄得到的用户的图像数据和特征数据来对用户进行脸部认证。在用户认证成功的情况下,可编程显示器(1)容许用户对应用程序的访问。

Description

可编程显示器、控制方法及计算机可读存储记录介质
技术领域
本发明涉及可编程显示器、可编程显示器的控制方法以及用于控制可编程显示器的程序。
背景技术
以往,已知有以能够进行通信的方式与可编程逻辑控制器(PLC)连接的可编程显示器。例如,专利文献1公开了具有HMI(人机界面)处理部和脸部记录处理部的可编程显示器。脸部记录处理部具有脸部图像数据库、脸部检测部、共用保存器、脸部记录(logging)部、脸部记录控制部、脸部记录文件。另外,该可编程显示器以能够进行通信的方式与照相机相连。
在操作人员在显示于可编程显示器的画面上进行规定的开关操作时,HMI处理部向脸部记录处理部发送指示,以使该脸部记录处理部执行用于记录操作人员的脸部图像的处理。在脸部记录处理部接收到该指示后,由脸部检测部从通过照相机拍摄得到的操作人员的图像中检测出正面的脸部图像,并将其作为文件保存到规定的脸部图像数据库中。另外,脸部检测部将脸部图像数据库中的文件的路径名,与开关操作内容、检测了脸部的日期与时刻、进行了开关操作的画面的画面编号等的与操作履历相关的信息一起写入到共用保存器中。脸部记录部按照脸部记录控制部的指示,将写入到共用保存器中的数据保存至脸部记录文件中。
另外,以往,已知有脸部认证的技术。例如,专利文献2公开了进行脸部认证的出入管理系统。该出入管理系统利用脸部核对装置来管理对设施的出入,所述脸部核对装置根据出入人员的脸部图像,来核对该出入人员是否为事先登录的人物。在出入管理系统中,在脸部核对装置的附近设置有用于拍摄出入人员的图像的监视照相机,由此利用记录部记录来自监视照相机的图像,并且将其与脸部核对装置的核对结果等出入履历一起发送至出入管理服务器。
专利文献3公开了具有拍摄装置、操作画面控制部及显示部的图像形成装置。操作画面控制部具有脸部区域检测部、移动判断部、脸部特征提取部、属性检测部及显示控制部。脸部区域检测部从由拍摄装置拍摄得到的图像数据中检测出用户的脸部区域。移动判断部判断用户是否已靠近上述图像形成装置。在通过移动判断部判断为用户已靠近图像形成装置的情况下,脸部特征提取部从脸部区域中提取脸部的特征。属性检测部基于由脸部特征提取部提取到的脸部特征,来检测用户的属性。显示控制部将与由属性检测部检测出的用户的属性相对应的操作画面显示到图像形成装置的显示部上。
专利文献4公开了监视对监视装置进行操作的人员的监视系统。该监视系统具有操作人员监视装置。操作人员监视装置具有照相机、脸部图像存储部及操作权限确定部。照相机对进行操作的人的脸部进行拍摄,并输出拍摄得到的脸部图像数据。脸部图像存储部中预先与操作权限的范围相对应地登录有核对用脸部图像数据。操作权限确定部通过对周期性导入的或在每次操作时导入的正在进行操作的人的脸部图像数据与上述核对用脸部图像数据进行核对,来确定正在进行操作的人所具有的操作权限的范围,并且根据该操作权限的范围来变更能够对监视装置进行操作的范围。
现有技术文献
专利文献
专利文献1:日本特开2008-112222号公报
专利文献2:日本特开2004-78687号公报
专利文献3:日本特开2011-59194号公报
专利文献4:日本特开2008-165353号公报
但是,在专利文献1的可编程显示器中,能够将进行脸部认证的结果作为履历来保留,但是不能通过进行脸部认证来容许对应用程序的访问。在专利文献2至专利文献4中,并未公开或提示对通过进行脸部认证来访问应用程序的技术。
发明内容
本申请发明是鉴于上述问题而提出的,其目的在于提供一种能够通过进行脸部认证来容许对应用程序的访问的可编程显示器、该可编程显示器的控制方法以及用于控制该可编程显示器的程序。
根据本发明的一个方案,可编程显示器用于控制对应用程序的访问。可编程显示器具有:存储单元,其存储用户的脸部的特征数据;认证单元,其基于拍摄得到的用户的第一图像数据和特征数据,来对用户进行第一脸部认证;访问控制单元,其在用户认证成功的情况下,容许用户对应用程序的访问。
优选地,认证单元,进而基于第二图像数据和特征数据,在预先指定的时刻对用户进行第二脸部认证,上述第二图像数据是指,在容许了对应用程序的访问的情况下拍摄得到的用户的脸部的图像数据。可编程显示器还具有限制单元,该限制单元在通过第一脸部认证来认证成功的用户和通过第二脸部认证来认证成功的用户为不同的用户的情况下,限制对应用程序的处理的执行。
优选地,认证单元,进而基于第二图像数据和特征数据,在预先指定的时刻对用户进行第二脸部认证,上述第二图像数据是指,在容许了对应用程序的访问的情况下拍摄得到的用户的脸部的图像数据。可编程显示器还具有限制单元,该限制单元在用户通过第二脸部认证来未认证成功的情况下,限制对应用程序的处理的执行。
优选地,可编程显示器还具有:显示屏,显示控制单元,其将画面显示到显示屏上。访问控制单元,在限制对处理的执行的情况下,以特定方式控制显示控制单元,上述特定方式是指,将预先规定的对象图像,以重叠到在容许访问的状态下显示的画面上的状态,显示到显示屏上的方式。
优选地,可编程显示器还具有:显示屏,显示控制单元,其将画面显示到显示屏上。访问控制单元,在限制对处理的执行的情况下,取代在容许访问的状态下显示的画面,而将不容许访问的状态的画面,显示到显示屏上。
优选地,可编程显示器还具有第一判断单元,该第一判断单元判断第一图像数据中包含的脸部区域是否大于预先规定的尺寸。访问控制单元,将判断为脸部区域大于预先规定的尺寸作为条件,容许对应用程序的访问。
优选地,可编程显示器还具有生成单元,该生成单元基于拍摄得到的脸部的图像数据,来生成用于表示该脸部的特征的特征数据,并将所生成的特征数据存储到存储单元中。
优选地,存储单元中存储有多个特征数据和用于确定用户的预先规定的字符串。多个特征数据中的第一特征数据,与表示对应用程序的第一操作权限的第一识别信息相对应关联。多个特征数据中的第二特征数据,与表示权限比第一操作权限更大的第二操作权限的第二识别信息相对应关联。可编程显示器还具有:接收单元,其在通过脸部认证来认证成功的用户是具有第二操作权限的用户的情况下,接收该用户所输入的字符串,第二判断单元,其判断所接收的字符串与预先规定的字符串是否一致。访问控制单元将由第二判断单元判断为一致作为条件,容许对应用程序的访问。
优选地,用户的第一图像数据由时间上连续的预先规定的数量的帧数据构成。认证单元基于多个帧数据中的每个帧数据来进行脸部认证。访问控制单元,将基于多个帧数据中的预先规定的数量以上的帧数据认证为同一用户作为条件,容许对应用程序的访问。
根据本发明的另一方案,控制方法用于控制对在可编程显示器上动作的应用程序的访问。控制方法包括:预先保存表示用户的脸部的特征的特征数据的步骤;接收拍摄得到的用户的第一图像数据的步骤;基于第一图像数据和特征数据,来对用户进行第一脸部认证的步骤;在用户通过脸部认证来认证成功的情况下,容许用户对应用程序的访问的步骤。
优选地,控制方法还具有:在容许了用户对应用程序的访问的情况下,拍摄得到用户的第二图像数据的步骤;基于特征数据和第二图像数据,来对用户进行第二脸部认证的步骤;在通过第一脸部认证来认证成功的用户和通过第二脸部认证来认证成功的用户为不同的用户的情况下,限制对应用程序的处理的执行的步骤。
优选地,控制方法进而基于第二图像数据和特征数据,在预先指定的时刻对用户进行第二脸部认证,上述第二图像数据是指,在容许了对应用程序的访问的情况下拍摄得到的用户的脸部的图像数据。控制方法还包括:在通过第一脸部认证来认证成功的用户和通过第二脸部认证来认证成功的用户为不同的用户的情况下,限制对应用程序的处理的执行的步骤。
优选地,控制方法进而基于第二图像数据和特征数据,在预先指定的时刻对用户进行第二脸部认证,上述第二图像数据是指,在容许了对应用程序的访问的情况下拍摄得到的用户的脸部的图像数据。控制方法还包括:在用户通过第二脸部认证来未认证成功的情况下,限制对应用程序的处理的执行的步骤。
优选地,还具有:在限制对处理的执行的情况下,将预先规定的对象图像,以重叠到在容许访问的状态下显示的画面上的状态,显示到显示屏上的步骤。
优选地,控制方法还具有:在限制对处理的执行的情况下,取代在容许访问的状态下显示的画面,而将不容许访问的状态的画面,显示到显示屏上的步骤。
优选地,控制方法还具有:判断第一图像数据中包含的脸部区域是否大于预先规定的尺寸的步骤;将判断为脸部区域大于预先规定的尺寸作为条件,容许对应用程序的访问的步骤。
优选地,控制方法还具有:基于拍摄得到的脸部的图像数据,来生成用于表示该脸部的特征的特征数据,并将所生成的特征数据存储到存储单元中的步骤。
优选地,控制方法还具有存储多个特征数据和用于确定用户的预先规定的字符串的步骤。多个特征数据中的第一特征数据,与表示对应用程序的第一操作权限的第一识别信息相对应关联。多个特征数据中的第二特征数据,与表示权限比第一操作权限更大的第二操作权限的第二识别信息相对应关联。控制方法还包括:通过脸部认证来认证成功的用户是具有第二操作权限的用户的情况下,接收该用户所输入的字符串的步骤,判断所接收的字符串与预先规定的字符串是否一致的步骤,将判断为字符串彼此一致作为条件,在容许对应用程序的访问和取消容许对应用程序的访问之间进行切换的步骤。
优选地,用户的第一图像数据由时间上连续的预先规定的数量的帧数据构成。在第一脸部认证的步骤中,基于多个帧数据中的每个帧数据来进行脸部认证。在容许访问的步骤中,将基于多个帧数据中的预先规定的数量以上的帧数据认证为同一用户作为条件,发行或取消对应用程序的访问权。
根据本发明的又一方案,程序用于控制对在可编程显示器上动作的应用程序的访问。程序使可编程显示器的处理器执行以下步骤:基于拍摄得到的用户的图像数据和表示用户的脸部的特征的特征数据来进行脸部认证的步骤;在用户认证成功的情况下,容许用户对应用程序的访问的步骤。
根据本发明,能够通过脸部认证来容许对应用程序的访问。
附图说明
图1是显示器的主视图。
图2是用于说明显示器的认证处理的图。
图3是用于说明用户通过脸部认证来认证成功之后的操作画面的例子的图。
图4是用于说明显示器的处理履历的图。
图5是用于说明显示器的硬件结构的一个例子的图。
图6是表示显示器的功能结构的功能框图。
图7A、图7B、图7C是用于说明用于进行与脸部认证相关的系统设定的画面的图。
图8是用于说明保存在登录图像DB中的数据的图。
图9A、图9B、图9C是用于说明图8的脸部图像数据的图。
图10A、图10B、图10C是与认证成功的用户相对应的画面的例子,表示了与图3的例子不同的画面。
图11是表示在显示图10A、图10B、图10C的各用户画面时所参照的数据D3的图。
图12是表示由管理部管理的履历数据D5的图。
图13是表示保存在未登录人员DB中的数据D7的图。
图14A、图14B是表示在由限制部限制进行处理的情况下显示的画面的图。
图15是用于说明显示器的处理流程的流程图。
图16是用于说明取代图8所示的数据D1而保存在登录图像DB351中的数据的图。
图17是用于说明检测用户的视线方向的结构的图。
图18是表示利用照相机17拍摄得到的被拍摄体的图像数据中包含多个用户的状态的图。
其中,附图标记说明如下:
1:显示器
11:CPU
12:ROM
13:RAM
14:闪存ROM
15:时钟
16:操作键
17:照相机
18:触摸屏
19:通信接口
81:显示屏
82:触控面板
101:拍摄部
102:尺寸判断部
103:生成部
104:脸部认证部
105:访问控制部
106:管理部
107:输入部
108:接收部
109:显示控制部
110:显示部
111:字符串判断部
112:通信处理部
113:限制部
114:视线确定部
115:存储部
511:一般设定画面
512:脸部认证设定画面
513:详细设定画面
531、532、533:用户画面
801、802、803、804、834、891:对象
831:状态
832:维护菜单
833:管理菜单
910、920、930:人物
351:登录图像DB
352:视线DB
353:未登录人员DB
354:履历DB
355:ID以及密码DB
356:画面数据DB
具体实施方式
一边参照附图,一边对于本发明的实施方式的可编程显示器(下面,仅称为“显示器”)进行详细说明。此外,对于图中的相同或等同部分,标注相同附图标记,不反复进行说明。
<A.外观>
图1是本实施方式的显示器1的主视图。将显示器1与PLC(可编程逻辑控制器)连接起来使用,该显示器1发挥PLC的人机接口(HMI)的功能。参照图1,显示器1具有操作键16、照相机17、触摸屏18。触摸屏18包括显示屏和触控面板。
<B.处理概要>
显示器1通过对用户的脸部图像进行认证,来控制对预先保存在显示器1中的应用程序的访问。具体地说,在用户认证成功的情况下,显示器1容许对该应用程序的访问。下面,举例说明容许对应用程序的访问的处理(即,“登录处理”)。而且,下面,针对显示器1所执行的其它的主要处理的内容,还说明“编辑处理”和“履历记录处理”。
此外,下面,“登录状态”是指容许了对应用程序的访问的状态,“注销状态”是指未容许对应用程序的访问的状态。另外,在显示器1中,当容许了对应用程序的访问时,发行对应用程序的访问权,当未容许对应用程序的访问时,取消对应用程序的访问权。
(b1.登录处理)
图2是用于说明显示器1的认证处理的图。参照图2,当人站在显示器1的前方(触摸屏18一侧)时,开始基于由照相机17拍摄得到的被拍摄体(人及背景)的图像数据和预先存储在显示器1中的用户的脸部的特征数据,来进行脸部认证。此外,脸部认证为以往已知的技术,因此在此不反复详细说明。
在用户通过脸部认证来认证成功的情况下,显示器1容许对应用程序的访问。即,在本实施方式中,显示器1容许成为认证对象的用户的登录。具体地说,显示器1转移至容许对预先存储在显示器1中的数据的访问的状态。而且,换言之,在用户通过脸部认证来认证认证的情况(认证成功的情况)下,显示器1将显示器1的状态从注销状态切换到登录状态。另外,显示器1基于切换到登录状态的情况,将预先规定的用户画面显示到触摸屏18的显示屏上。如上所述,根据显示器1,能够通过脸部认证来进行登录。此外,用户画面是用户用于进行操作及/或确认的画面。用户画面包括包含操作按钮的操作画面和不包含操作按钮的画面。
(b2.编辑处理)
图3是用于说明用户通过脸部认证来认证成功之后的用户画面的例子的图。图3的(A)部分是用于说明在判断为通过脸部认证来认证成功的用户是对应用程序的操作权限比一般操作人员(下面,仅称为“操作人员”)更高的管理人员的情况下显示到显示器1上的画面的图。图3的(B)部分是用于说明在判断为通过脸部认证来认证成功的用户是操作人员的情况下显示到显示器1上的画面的图。
参照图3,显示器1基于通过脸部认证来容许了对应用程序的访问的情况,将多个画面中的与认证成功的用户相对应的画面显示到显示屏上。例如,在男性α为管理人员的情况下,显示器1将多个能够选择的对象(Object)801、802、803、804显示到显示屏上。另外,在女性β为操作人员的情况下,显示器1不显示(或者,以不能选择的方式显示)与仅容许管理人员进行操作的处理相对应的对象802、803。如上所述,显示器1能够显示与认证成功的用户相对应的用户画面。
(b3.履历记录处理)
图4是用于说明显示器1的处理履历的图。参照图4,当基于预先规定的指令进行处理时,显示器1将时刻、指令、对显示器1开始进行处理的用户(通过脸部认证来认证成功的用户)的姓名相关联对应地进行存储来作为履历。此外,履历中包括与登录及注销相关的履历和登录状态下的用户的操作履历。
例如,在一个方案中,显示器1至少将通过脸部认证来认证成功的用户的识别信息(姓名)和用于表示容许了对应用程序的访问的情况(即,成为登录状态的情况、已登录的情况)的履历(“登录”)相对应地进行存储。另外,在一个方案中,在登录状态下用户进行了对用户画面中包含的操作按钮的图像进行指定的操作的情况下,显示器1将通过脸部认证来认证成功的用户的识别信息和与该指定的操作按钮相对应的操作的履历(例如“开始按压”、“显示图表”)相对应地进行存储。
能够通过由显示器1的用户(例如,管理人员或后述的维护人员)向显示器1输入用于将所存储的履历显示到显示屏上的指示,来如图4那样确认履历。即,该用户能够在事后对通过脸部认证来登录的用户进行认证。
下面,对用于实现上述处理的显示器1的具体结构以及除了上述处理之外的处理,进行详细说明。
<C.硬件结构>
图5是用于说明显示器1的硬件结构的一个例子的图。参照图5,显示器1具有用于进行各种运算的CPU(Central Processing Unit:中央处理单元)11、ROM(Read OnlyMemory:只读存储器)12、RAM(Random Access Memory:随机存取存储器)13、非易失性地保存各种程序的闪存ROM14、时钟15、操作键16、照相机17、触摸屏18、通信接口19。此外,这些构件经由内部总线彼此相连。
触摸屏18具有:显示屏81;触控面板82,其以覆盖显示屏81的方式设置。通信接口19具有以太网(登录商标)接口(InterFace)91、串行接口92、USB(Universal Serial Bus:共用串行总线)接口93。
CPU11将保存在闪存ROM14中的程序展开到RAM13等中来执行。ROM12中一般保存有操作系统(OS:Operating System)等程序。RAM13为易失性存储器,用作工作存储器。
以太网用接口91支持以太网的通信协议,与PLC进行数据通信。串行接口92支持串行通信的协议,例如与PC(PersonalComputer:个人计算机)进行数据通信。USB接口93支持USB的通信协议,例如与USB存储器进行数据通信。
此外,图5所示的构成显示器1的各结构要素是常规性的。因此,还可以说本发明的本质的部分是保存在闪存ROM14等保存器中的软件或能够通过网络下载的软件。此外,显示器1的各硬件的动作是公知的,因此不反复进行详细说明。
<D.处理的详细内容>
图6是示出了显示器1的功能结构的功能框图。参照图6,显示器1具有拍摄部101、尺寸判断部102、生成部103、脸部认证部104、访问控制部105、管理部106、输入部107、接收部108、显示控制部109、显示部110、字符串判断部111、通信处理部112、限制部113、视线确定部114及存储部115。
此外,拍摄部101与图5等中示出的照相机17相对应。输入部107与触控面板82相对应。显示部110与显示屏81相对应。存储部115与闪存ROM14以及ROM12相对应。
存储部115具有登录图像DB(Data Base:数据库)351、视线DB352、未登录人员DB353、履历DB354、ID(Identification)以及密码DB355及画面数据DB356。
在登录图像DB351中,以使用户的识别信息、用户的脸部的脸部图像数据、用户的脸部的特征数据、表示对应用程序的操作权限的识别信息(例如,管理人员、操作人员等)相对应的状态,登录有多人的信息。具体地说,针对每个特征数据相对应地存储有表示操作权限的识别信息。此外,通过执行预先规定的应用程序,根据脸部图像数据来生成特征数据。另外,作为一个例子,通过利用照相机17进行拍摄来登录脸部图像。
在用户通过脸部认证来未认证成功的情况下,将未认证成功的该用户的脸部的图像数据记录到未登录人员DB353中。在履历DB354中记录有用户的各种履历(登录履历、注销履历、各种操作履历)。在画面数据DB356中记录有用于在显示器1的显示屏81上显示各种画面(用户画面、后述系统设定画面)的画面数据。
在视线DB352中记录有用于表示显示器1的用户的视线方向的信息。对于利用该视线DB352的结构,在后面进行叙述(图16)。在ID及密码DB355中,针对每个用户记录有显示器1的用户的ID及密码。对于利用ID及密码DB355的结构,也在后面进行叙述。
拍摄部101拍摄被拍摄体,将通过该拍摄得到的图像数据(包括脸部图像数据的被拍摄体的图像数据)发送至尺寸判断部102。典型地,无论在注销状态还是登录状态下,拍摄部101都在预先指定的时刻进行拍摄处理。图像数据与进行拍摄的日期与时刻相对应。更详细地说,在进行认证时对为了认证用户而进行多次拍摄得到的脸部图像数据和特征数据进行比较,因此拍摄部101进行连续拍摄。下面,为了便于说明,将通过该连续摄影得到的图像数据称为“帧数据”。
尺寸判断部102判断图像数据所包括的脸部区域是否大于预先规定的尺寸。详细地说,尺寸判断部102基于拍摄部101拍摄得到的图像数据,来判断被拍摄体的脸部区域是否大于预先规定的尺寸(后述最小值)。另外,尺寸判断部102将判断结果发送至生成部103及脸部认证部104。
在登录脸部图像数据的动作模式中,生成部103基于脸部图像数据来生成特征数据。生成部103将脸部图像数据和特征数据相关联对应地记录至登录图像DB中。典型地,在判断为被拍摄体的脸部区域大于预先规定的尺寸(后述最小值)的情况下,生成部103将脸部图像数据和特征数据相关联对应地记录至登录图像DB中。
脸部认证部104在注销状态(未容许对应用程序的访问的状态)下,在人物的脸部靠近显示器1的拍摄部101时,自动进行脸部认证。另外,在登录状态下,脸部认证部104在接受了用户的操作的情况下,也进行脸部认证。
具体地说,脸部认证部104基于通过拍摄得到的用户的图像数据(称为“第一图像数据”)及特征数据,来进行对用户的认证(下面,还称为“第一脸部认证”)。详细地说,脸部认证部104基于表示被拍摄体中包含的脸部的脸部图像数据和记录在登录图像DB中的特征数据,来进行脸部认证。更详细地说,脸部认证部104对多个帧数据分别进行脸部认证,从而对用户进行认证。
脸部认证部104将认证结果发送至访问控制部105。另外,在未认证成功的用户的情况下,脸部认证部104将未认证成功的脸部的图像数据(下面,还称为“未登录图像数据”)发送至管理部106。
另外,脸部认证部104在预先指定的时刻,基于通过在登录状态下进行拍摄(在容许了对应用程序的访问的情况下的拍摄)得到的用户的脸部的图像数据(还称为“第二图像数据”)和特征数据,来进行对用户的认证(下面,还称为“第二脸部认证”)。将该认证的结果发送至限制部113。
更详细地说,脸部认证部104关注眼部来进行脸部认证。因为在使用显示器1的场所,除了眼部之外的部分被衣服覆盖的可能性高。
在用户认证成功的情况下,访问控制部105容许该用户对应用程序的访问。详细地说,访问控制部105将判断为脸部区域大于预先规定的尺寸作为条件,容许对应用程序的访问。
具体地说,在注销状态下用户通过脸部认证来认证成功的情况下,访问控制部105将显示器1的状态从注销状态切换到登录状态。详细地说,当容许对应用程序的访问时,访问控制部105以从多个画面中基于认证成功的用户的特征数据来将画面(参照图3)显示到显示屏81(即显示部110)上的方式,控制显示控制部109。
另外,在从脸部认证部104接收到表示尺寸最大的用户的信息的情况下,访问控制部105将与该用户相对应的画面显示到显示屏81上。在将显示器1的状态从注销状态切换到登录状态的情况下,访问控制部105向管理部106发送用于表示成为了登录状态的信息。
详细地说,访问控制部105将基于多个帧数据中的预先规定的数量以上的帧数据认证为同一用户作为条件,容许对应用程序的访问(即,从注销状态切换到登录状态)。
输入部107接受对象的指定及字符串的输入这样的各种用户操作。例如,输入部107接受用户画面上的触摸操作。此时,输入部107将触摸输入的坐标值发送至接收部108。
接收部108从输入部107接收坐标值。接收部108基于所接收的坐标值和显示在显示部110上的画面信息,来判断所输入的指示(用户操作)以及字符串等。接收部108将用于表示该用户操作的信息发送至管理部106。另外,在接收了作为字符串的ID及密码时,接收部108将该ID及密码发送至字符串判断部111。
显示控制部109将画面显示到显示屏81(即显示部110)上。例如,显示控制部109根据用于表示上述操作权限的识别信息,来将不同的所述画面显示到所述显示屏上(参照图3)。详细地说,显示控制部109根据来自各部的指示,在显示部110上显示各种画面等。
具体地说,显示控制部109例如将用户画面(图2、图3等)、用于进行系统设定的画面(图7A、图7B、图7C)及履历画面(图4)显示到显示部110上。另外,显示控制部109将预先规定的对象图像重叠显示到这些画面上。另外,显示控制部109将从PLC发送来的各种信息(例如数值、字符串)显示到显示部110上。
管理部106将认证成功的用户的识别信息和用于表示成为了容许访问的状态的履历相对应地存储到存储部115中。具体地说,管理部106将认证成功的用户的识别信息和用于表示已登录的履历(“登录”)相对应地存储到存储部115的履历DB354中。另外,在已容许对应用程序的访问的状态(登录状态)下,在进行了用于对用户画面所包含的操作按钮的图像进行指定的操作的情况下,管理部106将认证成功的用户的识别信息和与该操作按钮相对应的操作的履历(例如,“开始按压”、“显示图表”)相对应地,存储到履历DB354中。在将各种履历存储到履历DB354中时,与表示进行了与该履历相对应的处理或者操作的日期与时刻的日期与时刻信息相对应地进行存储。
而且,在从脸部认证部104接收到未登录图像数据的情况下,管理部106将该未登录图像数据存储到未登录人员DB353中。此时,未登录图像数据与表示进行拍摄的日期与时刻的日期与时刻信息建立有对应关系。
更详细地说,管理部106将由管理人员进行了用于记录履历的设定作为条件,将上述各履历存储到履历DB354中。在注销状态及登录状态中的任意状态下,管理部106都可以将通过脸部认证来认证成功的用户的图像数据存储到存储部115中,或者也可以不存储到存储部115中。由管理人员选择采用何种方式。
通信处理部112进行用于与PLC进行通信的数据处理。在后面叙述限制部113、字符串判断部111及视线确定部114。
下面,对于编辑处理及履历记录处理,进行更详细的说明。另外,还对作为显示器1的处理的初始设定处理和变更检测进行说明。此外,编辑处理是指,显示控制部109通过接受访问控制部105的控制来显示与认证成功的用户相对应的用户画面的处理(参照图3)。另外,履历记录处理是指,由管理部106将未登录图像数据及履历存储到存储部115中的处理。
另外,下面,为了便于说明,假定规定了操作应用程序的操作权限(使用权限)的范围不同的三种人(“管理人员”、“维护人员”、“操作人员”)作为显示器1的用户的情况来进行说明。此外,管理人员、维护人员、操作人员的上述操作权限的范围依次变小。
(d1.初始设定处理)
图7A、图7B、图7C是用于说明用于进行与脸部认证相关的系统设定的画面的图。图7A是表示一般设定画面511的图。图7B是表示脸部认证设定画面512的图。图7C是表示详细设定画面513的图。通过显示控制部109和显示部110来实现用于进行这些系统设定的画面的显示。
显示器1仅对管理人员容许对系统的设定。即,仅能够由作为管理人员登录到显示器1的人,显示图7A至图7C的画面。
参照图7A、图7B、图7C,能够通过选择画面上部的3个标签(tag)中的一个标签,来显示图7A至图7C的各画面。在图7A所示的一般设定画面511中,能够进行是否记录履历的设定、是否记录进行脸部认证时的脸部图像数据的设定、与人物的变更检测相关的设定以及与未登录人员检测相关的设定。
在图7B所示的脸部认证设定画面512中,能够进行以下处理,即,对需要通过脸部认证来认证的用户进行用户登录的处理、以及删除该用户登录的处理。另外,在脸部认证设定画面512中,能够对同一人物登录多个脸部图像数据。此外,在登录了多个脸部图像数据的情况下,生成多个特征数据。另外,在“角色”的栏中设定管理人员、维护人员以及操作人员中的某一个。
图7C所示的详细设定画面513中,能够设定通过进行脸部认证来认可登录时使用的被拍摄体(人物以及背景)的脸部尺寸的最小值以及最大值。另外,在详细设定画面513中,能够设定通过进行脸部认证来可判断为本人的匹配度(像本人)的下限值(阈值)。例如,作为该阈值的一个例子,可举出98%。
图8是用于说明保存在登录图像DB351中的数据的图。参照图8,在数据D1中,相对应地记录有姓名、职务、数据的更新日、脸部图像数据及特征数据。作为一个例子,针对“Yamashita Takeshi”的姓名,相对应地存储有“管理人员”这样的职务、“2012/08/16”这样的更新日、三个脸部图像数据(“1023KD”、“7544KD”、“9118KD”)及三个特征数据(“1023TD”、“7544TD”、“9118TD”)。此外,各特征数据是根据同栏中记载的脸部图像数据来生成的数据。例如,根据脸部图像数据“1023KD”来生成特征数据“1023TD”。
能够最多设定预先规定的数量(例如,分别10个)的脸部图像数据及特征数据。显示器1的脸部认证部104也可以在与多个特征数据中的至少一个特征数据之间的匹配度大于所设定的下限值(阈值)时,判断为认证成功(用户得到了认证)。或者,脸部认证部104也可以在与上述多个特征数据中的全部特征数据之间的匹配度大于所设定的下限值时,判断为认证成功(用户得到了认证)。
图9A、图9B、图9C是用于说明图8的脸部图像数据的图。详细地说,图9A是基于“Yamashita Takeshi”的第一个脸部图像数据“1023KD”的图像。图9B是基于“YamashitaTakeshi”的第二个脸部图像数据“7544KD”的图像。图9C是基于“Yamashita Takeshi”的第三个脸部图像数据“9118KD”的图像。这样,登录不同状态的多个脸部图像数据,利用上述脸部图像数据来进行脸部认证,从而能够提高显示器1的认证精度。
(d2.编辑处理)
如上所述,在显示器1上显示与通过脸部认证来认证成功的用户相对应的画面。图10A、图10B、图10C为与认证成功的用户相对应的画面的例子,表示了与图3的例子不同的画面。
图10A是表示管理人员的用户画面531的图。即,图10A是通过脸部认证来认证成功的用户已事先登录为管理人员的情况下显示的用户画面。图10B是表示维护人员的用户画面532的图。即,图10B是通过进行脸部认证来认证成功的用户已事先登录为维护人员的情况下显示的用户画面。图10C是表示操作人员的用户画面533的图。即,图10C是通过脸部认证来认证成功的用户已事先登录为操作人员的情况下显示的用户画面。
参照图10A,用户画面531包括状态(Status)831、维护菜单832、管理菜单833及用于注销的对象834。
参照图10B,用户画面532包括状态831、维护菜单832、对象834。用户画面532与用户画面531不同,不包括管理菜单833。
参照图10C,用户画面533包括状态831和对象834。用户画面533与用户画面531不同,不包括管理菜单833和维护菜单832。
如上所述,显示器1基于脸部认证的结果,显示与操作权限相对应的用户画面。
图11是表示在显示图10A、图10B、图10C的各用户画面531、532、533时所参照的数据D3的图。参照图11,在数据D3中,对对象名、坐标信息、表示针对每个职务是否显示对象图像的信息建立有对应关系。例如,记述有如下内容,即,对管理人员和维护人员显示作为三个对象图像的开始按钮、停止按钮及暂停按钮。并且,记述有对管理人员显示系统菜单的对象图像的内容。并且,记述有对所有用户显示用于注销的对象图像的内容。
另外,坐标信息是指在将对象图像显示到显示屏81上时利用的信息。利用坐标信息,来规定对象图像的左上部的坐标、对象图像的宽度和高度。
(d3.履历记录处理)
图12是表示由管理部106管理的履历数据D5的图。即,图12表示保存在履历DB354中的履历数据D5。参照图12,在履历数据D5中相对应地记录有日期与时刻、指令、姓名。在从用户(例如,管理人员)接受到显示履历数据D5的指示时,显示器1显示图4所示的画面。
图13是表示保存在未登录人员DB353中的数据D7的图。参照图13,在数据D7中,相对应地记录有用户通过脸部认证来未认证成功的人物的图像(未登录人员图像)和进行拍摄的日期与时刻。
例如,在操作人员对显示器1进行了用于确认未登录人员的输入的情况下,显示器1参照数据D7,将未登录人员的图像显示在显示屏81上。
(d4.变更检测)
接着,对于变更检测进行说明。变更检测是指,在通过对某人物进行了脸部认证来显示器1处于登录状态的情况下,显示器1再次通过进行脸部认证来检测与该人物不同的人物的检测。
如上所述,即使在登录状态下,脸部认证部104也在预先指定的时刻基于在登录状态下进行拍摄得到的脸部的图像数据和特征数据,来进行脸部认证。
在通过上述第一脸部认证来认证成功的用户和通过上述第二脸部认证来认证成功的用户为不同的用户的情况下,限制部113限制应用程序的处理的执行。另外,在用户通过第二脸部认证来未认证成功的情况下,限制部113限制应用程序的处理的执行。具体地说,通过登录状态下的脸部认证来得到的认证结果不表示通过注销状态下的脸部认证来认证成功的用户的情况下,或者用户通过登录状态下的脸部认证来未认证成功的情况下,限制部113限制在登录状态下认可的预先规定的处理的执行。
例如,假设在显示管理人员的用户画面531的状态(图10A)下,该管理人员之外的人物站在显示器1前,并对该人物进行了拍摄及认证。此时,限制部113至少限制在登录状态下认可的处理的执行。优选地,限制部113不接受对在登录状态下表示的对象图像进行的选择。
图14A、图14B是表示在由限制部113限制进行处理的情况下显示的画面的图。图14A是表示带有警告显示的画面的图。图14B是表示从登录状态转移到注销状态之后的画面的图。可将显示图14A所示的画面还是显示图14B所示的画面的信息,预先规定到显示器1中。管理人员还能够变更该设定。
参照图14A,在限制应用程序的处理的执行的情况下,访问控制部105以如下方式控制显示控制部109,该方式是指,以将预先规定的对象图像,以重叠到在容许访问的状态(登录状态)下显示的画面上的状态,显示到显示屏81(显示部110)上的方式。由此,显示控制部109将通过在图10A所示的用户画面531上重叠表示警告的对象图像来得到的画面551,显示到显示部110上。
参照图14B,访问控制部105将显示器1的状态从登录状态切换到注销状态。伴随与此,在限制应用程序的处理的执行的情况下,显示控制部109取代在容许所述访问的状态下显示的画面而将未容许该访问的状态的画面显示到显示屏81上。具体地说,显示控制部109将注销状态的画面显示到显示部110上。此时,显示器1执行注销状态下的拍摄及脸部认证处理。
此外,在上述中,举出在由限制部113限制了处理时将用户画面转移至其它画面的例子来进行了说明,但是并不限定于此。例如,显示器1也可以不转移画面而仅限制处理。由管理人员指定用于实现这种方式的设定。
另外,在通过登录状态下的脸部认证来得到的认证结果不表示通过注销状态下的脸部认证来认证成功的用户的情况下,也可以执行如下的处理。即,也可以使显示器1显示与在登录状态下认证成功的用户的操作权限相对应的用户画面。例如,在显示管理人员的用户画面531(图10A)的状态下,由操作人员通过脸部认证来认证成功的情况下,显示器1也可以显示操作人员的用户画面533(图10C)。另外,在不同的管理人员通过脸部认证来认证成功的情况下,也可以不限制管理人员的操作权限,而保持用户画面531的状态。
<E.控制结构>
图15是用于说明显示器1的处理流程的流程图。具体地说,图15是表示从未容许对应用程序的访问的状态(注销状态)经由容许了访问的状态(登录状态)转移至未容许访问的状态(注销状态)的情况的图。
参照图15,在步骤S2中,显示器1在起动之后开始进行拍摄。在步骤S4中,显示器1基于通过拍摄得到的被拍摄体的图像数据,来判断是否检测到脸部。在判断为到脸部的情况(在步骤S4中为“是”)下,显示器1在步骤S6中进行脸部认证。在判断为未检测到脸部的情况(在步骤S4中为“否”)下,显示器1使处理进入步骤S4。
在步骤S8中,显示器1判断用户通过脸部认证来是否认证成功。在判断为用户认证成功的情况(在步骤S8中为“是”)下,在步骤S10中,显示器1将显示器1的状态从注销状态切换到登录状态。即,显示器1容许对应用程序的访问。在判断为用户未认证成功的情况(在步骤S8中为“否”)下,在步骤S36中,显示器1将图像数据存储到未登录人员DB353中。
在步骤S12中,显示器1显示与认证成功的用户相对应的用户画面。在步骤S14中,显示器1将用于表示进行了登录的履历,与时刻及通过进行认证来认证成功的用户的姓名相关联对应地,记录至履历DB354中。即,显示器1将用于表示容许了对应用程序的访问的履历,与时刻及通过进行认证来认证成功的用户的姓名相关联对应地进行记录。在步骤S16中,显示器1判断在用户画面上是否接受到操作。典型地,显示器1判断是否选择了对象图像。
在判断为接受到操作的情况(在步骤S16中为“是”)下,在步骤S18中,显示器1将该操作的履历,与进行操作的时刻以及通过进行认证来认证成功的用户的姓名相对应地,存储至履历DB354中。在判断为未接受到操作的情况(在步骤S16中为“否”)下,显示器1使处理进入步骤S20。
在步骤S20中,显示器1基于通过拍摄得到的被拍摄体的图像数据,来判断是否检测到脸部。在判断为检测到脸部的情况(在步骤S20中为“是”)下,在步骤S22中,显示器1进行脸部认证。在判断为未检测到脸部的情况(在步骤S20中为“否”)下,显示器1使处理进入步骤S20。
在步骤S24中,显示器1判断用户通过脸部认证来是否认证成功。在判断为用户认证成功的情况(在步骤S24中为“是”)下,在步骤S26中,显示器1判断认证成功的用户是否为与在登录之前的注销状态下认证成功的用户是同一人物。在判断为用户未认证成功的情况(在步骤S24中为“否”)下,在步骤S38中,显示器1将图像数据存储到未登录人员DB353中。作为一个例子,在步骤S40中,显示器1进行警告显示(图14A)。
在判断为同一人物的情况(在步骤S26中为“是”)下,在步骤S28中,显示器1判断在用户画面上是否接受到操作。在判断为不是同一人物的情况(在步骤S26中为“否”)下,显示器1使处理进入步骤S40。
在判断为接受到操作的情况(在步骤S28中为“是”)下,在步骤S30中,显示器1将该操作的履历,与进行了操作的时刻以及通过进行认证来认证成功的用户的姓名相对应地,存储到履历DB354中。在判断为未接受到操作的情况(在步骤S28中为“否”)下,显示器1使处理进入步骤S32。
在步骤S32中,显示器1判断是否接受到用于注销的操作。在判断为未接受到用于注销的操作的情况(在步骤S32中为“否”)下,显示器1使处理进入步骤S20。在判断为接受到用于注销的操作的情况(在步骤S32中为“是”)下,在步骤S34中,显示器1将该操作的履历、与进行了操作的时刻以及通过进行认证来认证成功的用户的姓名相对应地,存储到履历DB354中。由此,显示器1再次返回至注销的状态,从而结束一系列处理。
<F.变形例>
(f1.编辑处理的变形例)
在上述中,说明了显示器1显示与通过进行脸部认证来认证成功的用户相对应的画面的结构。具体地说,说明了显示器1基于认证成功的用户的操作权限(管理人员的操作权限、维护人员的操作权限、操作人员的操作权限)来显示画面的结构。下面,说明基于这样的操作权限和与认证成功的用户相关的各种信息来显示画面的结构。
图16是用于说明取代图8所示的数据D1而保存在登录图像DB351中的数据的图。参照图16,在数据D9中,相对应地记录有姓名、职务、数据的更新日、脸部图像数据以及特征数据、用于规定显示方式的数据(年龄数据、性别数据、国籍数据、灵活手数据)。在包括用于规定显示方式的数据这一点上,数据D9与图8所示的数据D1存在差异。
显示器1基于操作权限和用于规定显示方式的数据来显示画面。例如,在通过进行脸部认证来认证用户为“Yamashita Takeshi”的情况下,在显示管理人员的画面时,将该画面中所包含的语种设定为日语。另外,显示器1将字符的尺寸、画面的辉度以及画面的对比度等,调整为与年龄相对应的值。而且,在左利手(左撇子)用的对象图像(菜单、操作按钮)的配置方式及右利手(右撇子)用的对象图像的配置方式中,显示器1以右撇子用配置方式显示画面。
另外,在通过进行脸部认证来认证用户为“Oliver Williams”的情况下,在显示维护人员的画面时,将该画面中所包含的语种设定为英語。另外,将可编程显示器、字符的尺寸、画面的辉度以及画面的对比度等,调整为与年龄相对应的值。而且,显示器1以右利手(右撇子)用配置方式显示画面。另外,显示器1从维护人员用的多个画面中显示为了女性预先准备的维护人员用画面。
如上所述,在显示器1中,针对多个特征数据分别对应有用于规定画面的显示方式的信息。显示器1的显示控制部109以由与认证成功的用户的特征数据相对应的信息来规定的显示方式,将与认证成功的用户相对应的画面显示到显示部110上。因此,显示器1能够显示对通过进行脸部认证来认证成功的用户定制的画面。
另外,如上所述,上述显示方式包括语种及字符尺寸中的至少一种。因此,显示器1能够利用认为适合于认证成功的用户的语种及字符尺寸,来显示画面。
而且,用于规定画面的显示方式的信息包括年龄、性别及国籍中的至少一个。显示器1能够通过利用上述信息,显示适合于通过进行脸部认证来认证成功的用户的画面。
(f2.与视线相关的处理)
图17是用于说明检测用户的视线方向的结构的图。参照图17,在登录状态下,显示器1基于发生了预先规定的事件的情况,显示与该事件相对应的预先规定的对象891。
在通过在容许对应用程序的访问时(登录状态)拍摄得到的用户的图像数据中包含脸部的图像数据的情况下,显示器1的视线确定部114(参照图6)确定该脸部的视线方向。此时,管理部106将发生了上述预先规定的事件时的视线方向与该事件相关联对应地存储至存储部115的视线DB352中。此外,能够通过研究所拍摄的图像数据中的脸部的大小(眼睛的大小)和该脸部中的虹膜(或者瞳孔)的位置,来确定视线方向。
因此,登录的管理人员等能够通过确认视线DB352的数据,来判断在发生了预先规定的事件时操作人员等在发生事件时在现场工作的人是否正在看显示器1的画面。
(f3.多个人的脸部认证处理)
在上述中,举例说明了通过进行一次拍摄来拍摄到一个人的情况。下面,说明通过进行一次拍摄来拍摄到多个人的情况的处理。
图18是表示利用照相机17拍摄得到的被拍摄体的图像数据中包含多个用户的状态的图。参照图18,在图像的最前方拍摄到了人物910。另外,在人物910的后方依次拍摄到了人物920及人物930。因此,按照人物910、人物920、人物930的顺序,脸部区域的尺寸依次变小。
在从拍摄部101接收到通过进行一次拍摄来拍摄到多个人物的图像数据的情况下,尺寸判断部102判断各人物的脸部区域是否大于预先规定的尺寸。在图18的情况下,尺寸判断部102判断人物910、人物920、人物930的脸部区域是否大于预先规定的尺寸。
在从尺寸判断部102接收到通过进行一次拍摄来拍摄到多个人物的图像数据和上述判断结果的情况下,脸部认证部104对该多个人物进行脸部认证。此时,脸部认证部104至少将认证成功的用户中的尺寸最大的用户的识别信息发送至访问控制部105。例如,在图18的情况下,脸部认证部104将人物910的识别信息(典型地,姓名)发送至访问控制部105。
在通过拍摄得到的图像数据中包含多个用户的情况下,管理部106将该多个用户中的判断为脸部区域大于预先规定的尺寸(下限值)的用户的识别信息,与用于表示容许了对应用程序的访问的情况(即,登录的情况)的履历相对应地,存储到存储部115的履历DB354中。例如,在图18的情况下,管理部106将人物910的识别信息与用于表示已登录的情况的履历相对应地存储到履历DB354中。
另外,管理部106将上述多个用户中的除了判断为脸部区域大于预先规定的尺寸的用户之外的用户的识别信息,存储到存储部115中。例如,在图18的情况下,管理部106将人物920的用户信息和人物930的用户信息存储到存储部115中。
因此,显示器1的用户(例如管理人员)能够通过识别信息,来确定在显示器1的状态从注销状态切换到登录状态时在进行登录的人物(在图18的情况下为人物910)的周围存在哪些人。在图18的例子中,管理人员能够确定人物920的姓名和人物930的姓名。
而且,管理部106将除了判断为脸部区域大于预先规定的尺寸的用户之外的用户中的用户未认证成功的人的图像数据,进而存储到存储部115中。例如,在图18的情况下,在由脸部认证部104判断为人物930是未登录人员的情况下,管理部106将人物930的图像数据存储到存储部115中。
因此,显示器1的用户(例如管理人员)能够确认,在显示器1的状态从注销状态切换到登录状态时、位于登录的人物(在图18的情况下为人物910)的周围的未登录的人物的脸部。
(f4.ID以及密码的利用)
接着,说明利用ID以及密码的结构。在显示器1中,在比操作人员的操作权限大的管理人员及维护人员的情况下,为了登录,除了用户通过脸部认证来认证成功的情况之外,还可以将ID及密码一致作为条件,来容许对应用程序的访问(将显示器1的状态从注销状态切换到登录状态)。对该处理如下进行详细说明。
在通过脸部认证来认证成功的用户为具有管理人员或者维护人员的操作权限的人的情况下,接收部108接收作为字符串的ID以及密码的输入。另外,字符串判断部111判断接收部108接收的ID以及密码和预先登录在ID以及密码DB355中的ID以及密码(预先规定的字符串)是否一致。而且,将由字符串判断部111判断为一致作为条件,访问控制部105将显示器1的状态从注销状态切换到登录状态。
根据这样的结构,与操作权限的大小无关地仅通过进行脸部认证来容许登录的结构相比,能够提高安全性。此外,在上述中,举例说明了向管理人员和维护人员请求输入ID及密码的结构,但是也可以仅向管理人员请求输入ID及密码。另外,也可以以仅请求输入ID及密码中的某一个的方式构成显示器1。
(f4.不内置照相机的结构)
在上述中,举例说明了可编程显示器内置有照相机的结构,但是并不限定于此。也可以采用可编程显示器与外置的照相机进行通信的结构。即,也可以采用显示器1从外置的照相机获取图像数据的结构。
(f5.对于操作权限)
在上述中,说明了管理人员、维护人员、操作人员这三个具有不同的操作权限的人的例子,但是并不限定于此。操作权限的种类(划分)的数目可以是二个,也可以是四个以上。
(f6.对除了可编程显示器之外的装置的应用)
在上述中,举例说明了可编程显示器(显示器1)。但是,上述各种处理,不仅能够应用于可编程显示器,还能够应用于包含该可编程显示器的监视器(显示装置)。
应当认为本公开的实施方式是在全部点的例示而非限制。本发明的范围并不由上述的说明来表示,而是由权利要求书来表示,意在包括在与权利要求书等同的意思和范围内的全部变更。

Claims (16)

1.一种可编程显示器,用于控制对应用程序的访问,其特征在于,
具有:
存储单元,其存储用户的脸部的特征数据;
认证单元,其基于拍摄得到的用户的第一图像数据和所述特征数据,来对所述用户进行第一脸部认证;
访问控制单元,其在用户认证成功的情况下,容许所述用户对所述应用程序的访问;
所述可编程显示器还具有第一判断单元,该第一判断单元判断所述第一图像数据中包含的脸部区域是否大于预先规定的尺寸;
当通过一次拍摄而拍摄到一个人的情况,所述访问控制单元,将判断为所述脸部区域大于预先规定的尺寸作为条件,容许对所述应用程序的访问,
当通过一次拍摄而拍摄到多个人的情况,所述第一判断单元判断所述第一图像数据中包含的各人物的脸部区域是否大于预先规定的尺寸,所述认证单元在从所述第一判断单元接收到所述第一图像数据以及尺寸判断结果的情况下,对所述多个人物进行脸部认证,并将认证成功的用户中的尺寸最大的用户的识别信息发送至所述访问控制单元,所述访问控制单元将判断为所述脸部区域大于预先规定的尺寸作为条件,容许所述认证成功的用户中的脸部区域尺寸最大的用户对所述应用程序的访问;
所述认证单元,进而基于第二图像数据和所述特征数据,在预先指定的时刻对所述用户进行第二脸部认证,上述第二图像数据是指,在容许了对所述应用程序的访问的情况下拍摄得到的用户的脸部的图像数据;
还具有限制单元,该限制单元在通过所述第一脸部认证来认证成功的用户和通过第二脸部认证来认证成功的用户为不同的用户的情况下,限制对所述应用程序的处理的执行。
2.一种可编程显示器,用于控制对应用程序的访问,其特征在于,
具有:
存储单元,其存储用户的脸部的特征数据;
认证单元,其基于拍摄得到的用户的第一图像数据和所述特征数据,来对所述用户进行第一脸部认证;
访问控制单元,其在用户认证成功的情况下,容许所述用户对所述应用程序的访问;
所述可编程显示器还具有第一判断单元,该第一判断单元判断所述第一图像数据中包含的脸部区域是否大于预先规定的尺寸;
当通过一次拍摄而拍摄到一个人的情况,所述访问控制单元,将判断为所述脸部区域大于预先规定的尺寸作为条件,容许对所述应用程序的访问,
当通过一次拍摄而拍摄到多个人的情况,所述第一判断单元判断所述第一图像数据中包含的各人物的脸部区域是否大于预先规定的尺寸,所述认证单元在从所述第一判断单元接收到所述第一图像数据以及尺寸判断结果的情况下,对所述多个人物进行脸部认证,并将认证成功的用户中的脸部区域尺寸最大的用户的识别信息发送至所述访问控制单元,所述访问控制单元将判断为所述脸部区域大于预先规定的尺寸作为条件,容许所述认证成功的用户中的脸部区域尺寸最大的用户对所述应用程序的访问;
所述认证单元,进而基于第二图像数据和所述特征数据,在预先指定的时刻对所述用户进行第二脸部认证,上述第二图像数据是指,在容许了对所述应用程序的访问的情况下拍摄得到的用户的脸部的图像数据;
还具有限制单元,该限制单元在用户通过所述第二脸部认证来未认证成功的情况下,限制对所述应用程序的处理的执行。
3.根据权利要求1或2所述的可编程显示器,其特征在于,
还具有:
显示屏,
显示控制单元,其将画面显示到所述显示屏上;
所述访问控制单元,在限制对所述处理的执行的情况下,以特定方式控制所述显示控制单元,上述特定方式是指,将预先规定的对象图像,以重叠到在容许所述访问的状态下显示的画面上的状态,显示到所述显示屏上的方式。
4.根据权利要求1或2所述的可编程显示器,其特征在于,
还具有:
显示屏,
显示控制单元,其将画面显示到所述显示屏上;
所述访问控制单元,在限制对所述处理的执行的情况下,取代在容许所述访问的状态下显示的画面,而将不容许所述访问的状态的画面,显示到所述显示屏上。
5.根据权利要求1或2所述的可编程显示器,其特征在于,还具有生成单元,该生成单元基于所述拍摄得到的脸部的图像数据,来生成用于表示该脸部的特征的特征数据,并将所生成的所述特征数据存储到所述存储单元中。
6.根据权利要求1或2所述的可编程显示器,其特征在于,
所述存储单元中存储有多个所述特征数据和用于确定用户的预先规定的字符串;
所述多个特征数据中的第一特征数据,与表示对所述应用程序的第一操作权限的第一识别信息相对应关联;
所述多个特征数据中的第二特征数据,与表示权限比所述第一操作权限更大的第二操作权限的第二识别信息相对应关联;
所述可编程显示器还具有:
接收单元,其在通过所述脸部认证来认证成功的用户是具有所述第二操作权限的用户的情况下,接收该用户所输入的字符串,
第二判断单元,其判断所接收的所述字符串与预先规定的所述字符串是否一致;
所述访问控制单元将由所述第二判断单元判断为一致作为条件,容许对所述应用程序的访问。
7.根据权利要求1或2所述的可编程显示器,其特征在于,
所述用户的第一图像数据由时间上连续的预先规定的数量的帧数据构成;
所述认证单元基于多个所述帧数据中的每个帧数据来进行所述脸部认证,
所述访问控制单元,将基于多个所述帧数据中的预先规定的数量以上的帧数据认证为同一用户作为条件,容许对所述应用程序的访问。
8.一种控制方法,用于控制对在可编程显示器上动作的应用程序的访问,其特征在于,
包括:
预先保存表示用户的脸部的特征的特征数据的步骤;
接收拍摄得到的用户的第一图像数据的步骤;
基于所述第一图像数据和所述特征数据,来对用户进行第一脸部认证的步骤;
在用户通过所述脸部认证来认证成功的情况下,容许用户对应用程序的访问的步骤;
所述控制方法还包括:
判断所述第一图像数据中包含的脸部区域是否大于预先规定的尺寸的步骤;
当通过一次拍摄而拍摄到一个人的情况,将判断为所述脸部区域大于预先规定的尺寸作为条件,容许对所述应用程序的访问的步骤,
当通过一次拍摄而拍摄到多个人的情况,判断所述第一图像数据中包含的各人物的脸部区域是否大于预先规定的尺寸,认证单元在接收到所述第一图像数据以及尺寸判断结果的情况下,对所述多个人物进行脸部认证,并将认证成功的用户中的尺寸最大的用户的识别信息发送至访问控制单元,所述访问控制单元将判断为所述脸部区域大于预先规定的尺寸作为条件,容许所述认证成功的用户中的脸部区域尺寸最大的用户对所述应用程序的访问的步骤;
所述控制方法还包括:
在容许了用户对所述应用程序的访问的情况下,拍摄得到用户的第二图像数据的步骤;
基于所述特征数据和所述第二图像数据,来对用户进行第二脸部认证的步骤;
在通过所述第一脸部认证来认证成功的用户和通过所述第二脸部认证来认证成功的用户为不同的用户的情况下,限制对所述应用程序的处理的执行的步骤。
9.根据权利要求8所述的控制方法,其特征在于,
进而基于第二图像数据和所述特征数据,在预先指定的时刻对所述用户进行第二脸部认证,上述第二图像数据是指,在容许了对所述应用程序的访问的情况下拍摄得到的用户的脸部的图像数据。
10.一种控制方法,用于控制对在可编程显示器上动作的应用程序的访问,其特征在于,
包括:
预先保存表示用户的脸部的特征的特征数据的步骤,
接收拍摄得到的用户的第一图像数据的步骤,
基于所述第一图像数据和所述特征数据,来对用户进行第一脸部认证的步骤,
在用户通过所述脸部认证来认证成功的情况下,容许用户对应用程序的访问的步骤,
所述控制方法还包括:
判断所述第一图像数据中包含的脸部区域是否大于预先规定的尺寸的步骤;
当通过一次拍摄而拍摄到一个人的情况,将判断为所述脸部区域大于预先规定的尺寸作为条件,容许对所述应用程序的访问的步骤,
当通过一次拍摄而拍摄到多个人的情况,判断所述第一图像数据中包含的各人物的脸部区域是否大于预先规定的尺寸,认证单元在接收到所述第一图像数据以及尺寸判断结果的情况下,对所述多个人物进行脸部认证,并将认证成功的用户中的尺寸最大的用户的识别信息发送至访问控制单元,所述访问控制单元将判断为所述脸部区域大于预先规定的尺寸作为条件,容许所述认证成功的用户中的脸部区域尺寸最大的用户对所述应用程序的访问的步骤;进而基于第二图像数据和所述特征数据,在预先指定的时刻对所述用户进行第二脸部认证,上述第二图像数据是指,在容许了对所述应用程序的访问的情况下拍摄得到的用户的脸部的图像数据;
所述控制方法还包括:在用户通过所述第二脸部认证来未认证成功的情况下,限制对所述应用程序的处理的执行的步骤。
11.根据权利要求8至10中任一项所述的控制方法,其特征在于,还具有:在限制对所述处理的执行的情况下,将预先规定的对象图像,以重叠到在容许所述访问的状态下显示的画面上的状态,显示到显示屏上的步骤。
12.根据权利要求8至10中任一项所述的控制方法,其特征在于,还具有:在限制对所述处理的执行的情况下,取代在容许所述访问的状态下显示的画面,而将不容许所述访问的状态的画面,显示到显示屏上的步骤。
13.根据权利要求8或10所述的控制方法,其特征在于,还具有:基于所述拍摄得到的脸部的图像数据,来生成用于表示该脸部的特征的特征数据,并将所生成的所述特征数据存储到存储单元中的步骤。
14.根据权利要求8或10所述的控制方法,其特征在于,
还具有存储多个所述特征数据和用于确定用户的预先规定的字符串的步骤;
所述多个特征数据中的第一特征数据,与表示对所述应用程序的第一操作权限的第一识别信息相对应关联;
所述多个特征数据中的第二特征数据,与表示权限比所述第一操作权限更大的第二操作权限的第二识别信息相对应关联;
所述控制方法还包括:
通过所述脸部认证来认证成功的用户是具有所述第二操作权限的用户的情况下,接收该用户所输入的字符串的步骤,
判断所接收的所述字符串与预先规定的所述字符串是否一致的步骤,
将判断为所述字符串彼此一致作为条件,在容许对所述应用程序的访问和取消容许对所述应用程序的访问之间进行切换的步骤。
15.根据权利要求8或10所述的控制方法,其特征在于,
所述用户的第一图像数据由时间上连续的预先规定的数量的帧数据构成;
在所述第一脸部认证的步骤中,基于多个所述帧数据中的每个帧数据来进行所述脸部认证;
在容许所述访问的步骤中,将基于多个所述帧数据中的预先规定的数量以上的帧数据认证为同一用户作为条件,发行或取消对所述应用程序的访问权。
16.一种计算机可读存储记录介质,其上存储有程序,所述程序用于控制对在可编程显示器上动作的应用程序的访问,该程序被处理器执行时实现以下步骤:
基于拍摄得到的用户的第一图像数据和表示用户的脸部的特征的特征数据来进行脸部认证的步骤;
在用户认证成功的情况下,容许所述用户对所述应用程序的访问的步骤;
还包括:
判断所述第一图像数据中包含的脸部区域是否大于预先规定的尺寸的步骤;
当通过一次拍摄而拍摄到一个人的情况,将判断为所述脸部区域大于预先规定的尺寸作为条件,容许对所述应用程序的访问的步骤,
当通过一次拍摄而拍摄到多个人的情况,判断所述第一图像数据中包含的各人物的脸部区域是否大于预先规定的尺寸,认证单元在接收到所述第一图像数据以及尺寸判断结果的情况下,对所述多个人物进行脸部认证,并将认证成功的用户中的尺寸最大的用户的识别信息发送至访问控制单元,所述访问控制单元将判断为所述脸部区域大于预先规定的尺寸作为条件,容许所述认证成功的用户中的脸部区域尺寸最大的用户对所述应用程序的访问的步骤。
CN201410362586.6A 2013-07-29 2014-07-28 可编程显示器、控制方法及计算机可读存储记录介质 Active CN104346122B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-156680 2013-07-29
JP2013156680A JP6481249B2 (ja) 2013-07-29 2013-07-29 プログラマブル表示器、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN104346122A CN104346122A (zh) 2015-02-11
CN104346122B true CN104346122B (zh) 2019-06-07

Family

ID=51224768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410362586.6A Active CN104346122B (zh) 2013-07-29 2014-07-28 可编程显示器、控制方法及计算机可读存储记录介质

Country Status (4)

Country Link
US (1) US20150033304A1 (zh)
EP (1) EP2833289A1 (zh)
JP (1) JP6481249B2 (zh)
CN (1) CN104346122B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3027718B1 (fr) * 2014-10-28 2019-06-21 Latecoere Procede et systeme de surveillance et de securisation d'une enceinte de vehicule, notamment d'un avion
JP6417931B2 (ja) * 2014-12-25 2018-11-07 富士ゼロックス株式会社 情報処理装置及びプログラム
CN105100047B (zh) * 2015-05-19 2019-03-08 努比亚技术有限公司 一种终端应用程序的鉴权方法和装置
CN108028336B (zh) * 2016-01-12 2021-08-06 株式会社Lg化学 具有用于单元模块的稳定固定装置的电池模块组件
US11328152B2 (en) 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
US10346605B2 (en) 2016-06-28 2019-07-09 Paypal, Inc. Visual data processing of response images for authentication
EP3416079A1 (de) * 2017-06-16 2018-12-19 Connexcom Ag Computerimplementiertes verfahren und computerprogrammprodukt zur zugangssteuerung eines endgeräts
JP6513866B1 (ja) * 2018-08-10 2019-05-15 株式会社セブン銀行 本人認証装置およびプログラム
JP2020057201A (ja) * 2018-10-02 2020-04-09 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2021024093A (ja) * 2019-07-31 2021-02-22 キヤノン株式会社 画像形成装置、画像形成装置の制御方法ならびにコンピュータプログラム
US11356723B2 (en) 2019-09-06 2022-06-07 Tencent America LLC In-manifest update event
JP7396338B2 (ja) 2021-09-17 2023-12-12 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
US20230128577A1 (en) * 2021-10-23 2023-04-27 Hummingbirds Ai Inc. System and method for continuous privacy-preserving facial-based authentication and feedback
KR102656929B1 (ko) * 2023-12-18 2024-04-12 이솔정보통신 주식회사 다중 사용자 보안 기능을 갖는 안면 인식 인터랙티브 화이트보드

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968357A (zh) * 2005-11-14 2007-05-23 欧姆龙株式会社 认证装置和认证方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111517A (en) * 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
US6928547B2 (en) * 1998-07-06 2005-08-09 Saflink Corporation System and method for authenticating users in a computer network
JP2000076459A (ja) * 1998-09-03 2000-03-14 Canon Inc 人物同定方法及び装置
US7487112B2 (en) * 2000-06-29 2009-02-03 Barnes Jr Melvin L System, method, and computer program product for providing location based services and mobile e-commerce
TWI282941B (en) * 2001-03-15 2007-06-21 Toshiba Corp Entrance management apparatus and entrance management method by using face features identification
JP3940276B2 (ja) * 2001-07-12 2007-07-04 三菱電機株式会社 施設管理システム
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
JP4434560B2 (ja) 2002-08-20 2010-03-17 株式会社東芝 入退場管理システム
JP4699139B2 (ja) * 2004-09-14 2011-06-08 富士フイルム株式会社 セキュリティシステム
JP2006259930A (ja) * 2005-03-15 2006-09-28 Omron Corp 表示装置およびその制御方法、表示装置を備えた電子機器、表示装置制御プログラム、ならびに該プログラムを記録した記録媒体
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
JP2007011456A (ja) * 2005-06-28 2007-01-18 Glory Ltd 顔認証装置および顔認証方法
WO2007043328A1 (ja) * 2005-10-12 2007-04-19 Konica Minolta Holdings, Inc. データ検出装置及びデータ検出方法
JP2007122400A (ja) * 2005-10-27 2007-05-17 Digital Electronics Corp 認証装置、プログラムおよび記録媒体
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
US8599267B2 (en) * 2006-03-15 2013-12-03 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP4241763B2 (ja) * 2006-05-29 2009-03-18 株式会社東芝 人物認識装置及びその方法
JP4778394B2 (ja) 2006-10-27 2011-09-21 株式会社デジタル 操作表示装置、操作表示プログラムおよびそれを記録した記録媒体
JP2008152581A (ja) * 2006-12-18 2008-07-03 Digital Electronics Corp 顔認識システムのユーザインターフェース作成装置、ユーザインターフェース作成プログラムおよびそれを記録した記録媒体
JP2008165353A (ja) 2006-12-27 2008-07-17 Mitsubishi Electric Corp 監視システム
JP2008293442A (ja) * 2007-05-28 2008-12-04 Toshiba Corp 情報処理装置
US20090178126A1 (en) * 2008-01-03 2009-07-09 Sterling Du Systems and methods for providing user-friendly computer services
US8538072B2 (en) * 2008-08-27 2013-09-17 Imprivata, Inc. Systems and methods for operator detection
JP2011059194A (ja) 2009-09-07 2011-03-24 Sharp Corp 制御装置、画像形成装置、画像形成装置の制御方法、プログラムおよび記録媒体
US8601573B2 (en) * 2009-09-17 2013-12-03 International Business Machines Corporation Facial recognition for document and application data access control
KR101681321B1 (ko) * 2009-11-17 2016-11-30 엘지전자 주식회사 사용자 인증 방법 및 그를 이용한 화상 통신 장치 및 디스플레이 장치
JP2011134137A (ja) * 2009-12-24 2011-07-07 Konica Minolta Business Technologies Inc 情報表示装置及び表示制御プログラム
US8922342B1 (en) * 2010-02-15 2014-12-30 Noblis, Inc. Systems, apparatus, and methods for continuous authentication
US8705809B2 (en) * 2010-09-30 2014-04-22 King Saud University Method and apparatus for image generation
CN201927016U (zh) * 2011-01-24 2011-08-10 南京壹进制信息技术有限公司 具有人脸识别功能的移动存储装置
JP2013069155A (ja) * 2011-09-22 2013-04-18 Sogo Keibi Hosho Co Ltd 顔認証データベース構築方法、顔認証装置及び顔認証プログラム
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130198836A1 (en) * 2012-01-31 2013-08-01 Google Inc. Facial Recognition Streamlined Login
KR101443960B1 (ko) * 2012-02-22 2014-11-03 주식회사 팬택 사용자 인증 전자 장치 및 방법
US10002297B2 (en) * 2012-06-20 2018-06-19 Imprivata, Inc. Active presence detection with depth sensing
US9374369B2 (en) * 2012-12-28 2016-06-21 Lookout, Inc. Multi-factor authentication and comprehensive login system for client-server networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968357A (zh) * 2005-11-14 2007-05-23 欧姆龙株式会社 认证装置和认证方法

Also Published As

Publication number Publication date
JP2015026315A (ja) 2015-02-05
EP2833289A1 (en) 2015-02-04
US20150033304A1 (en) 2015-01-29
JP6481249B2 (ja) 2019-03-13
CN104346122A (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
CN104346122B (zh) 可编程显示器、控制方法及计算机可读存储记录介质
CN104346554B (zh) 可编程显示器、控制方法
KR102151898B1 (ko) 가상 현실 환경 기반 신원 인증 방법 및 장치
US11170087B2 (en) Virtual reality scene-based business verification method and device
CN104346553A (zh) 可编程显示器、显示控制方法及程序
CN109117700A (zh) 脸部验证方法和设备
CN107066079A (zh) 基于虚拟现实场景的业务实现方法及装置
CN106027543A (zh) 一种基于权值计算的身份识别方法及装置
CN109756458A (zh) 身份认证方法和系统
CN109767526A (zh) 安防方法、装置、计算机设备和存储介质
CN110599284A (zh) 厨房系统的控制方法、控制系统、计算机设备及存储介质
CN111523348A (zh) 信息生成方法和装置、用于人机交互的设备
US11436348B2 (en) Method and system of passing and applying delegations of authority
CN114387674A (zh) 活体检测方法、系统、设备、存储介质及程序产品
KR102234869B1 (ko) 영상과 대응하는 신발 추천 시스템
CN111370100A (zh) 基于云端服务器的整容推荐方法及系统
KR20220155651A (ko) 영양제 복용 관리 방법
CN113961297A (zh) 眨眼截屏方法、系统、装置及存储介质
CN116795448A (zh) 一种保险用户应用系统的配置方法、装置、设备和存储介质
CN117456619A (zh) 掌部图像的识别方法、装置、设备、存储介质及程序产品
CN114266329A (zh) 一种资产盘点方法、装置和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant