CN106020436A - 图像分析装置及图像分析方法 - Google Patents

图像分析装置及图像分析方法 Download PDF

Info

Publication number
CN106020436A
CN106020436A CN201610151016.1A CN201610151016A CN106020436A CN 106020436 A CN106020436 A CN 106020436A CN 201610151016 A CN201610151016 A CN 201610151016A CN 106020436 A CN106020436 A CN 106020436A
Authority
CN
China
Prior art keywords
display
image
guiding
picture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610151016.1A
Other languages
English (en)
Inventor
青木隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN106020436A publication Critical patent/CN106020436A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像分析装置及图像分析方法。根据一个方面的图像分析装置包括显示器、相机、估计单元、创建单元、导引单元以及显示控制单元。相机拍摄位于显示器前方的对象的图像。估计单元估计其图像已经由相机拍摄的对象的形状和位置。创建单元根据对象的形状和位置在显示器上创建显示区域。导引单元根据对象的形状和位置计算对象的导引方向。显示控制单元在显示区域上显示基于导引方向的导引指令。

Description

图像分析装置及图像分析方法
技术领域
本文中所讨论的实施方式涉及一种图像分析装置及图像分析方法。
背景技术
掌静脉认证装置例如是通过使用近红外线拍摄活体静脉图案对人进行认证的装置。这样的装置包括用于对认证目标的图像进行拍摄和分析的图像分析装置。
作为与图像分析装置有关的装置，已知作为示例的以下图像处理装置，该图像处理装置包括第一图像获取单元和图像合并单元，并且这样的图像处理装置将一些处理施加至预定图像。在图像处理装置中，第一图像获取单元获取第一图像。图像合并单元获取第二图像，并且将所获取的第二图像与由第一图像获取单元获取的第一图像进行合并。图像合并单元在由第一图像获取单元获得的第一图像内检测满足预定标准的第一区域，并且将第二图像叠加至靠近所检测的第一区域的区域，由此生成通过将第一图像和第二图像彼此合并而获得的第三图像(例如，参见专利文献1)。
另一已知技术是以下显示方法，该显示方法用于将图标显示在允许用户例如使用便携式信息终端拍摄图像进行方便的操作位置。便携式信息终端根据由布置在壳体的背面或侧面中的至少一个上的多个触摸传感器提供的检测结果来检测该终端由用户的手握持的位置。便携式信息终端根据由内置相机拍摄的图像来识别用户的面部取向。根据所检测的位置和所识别的面部取向，便携式信息终端估计握持状态，该握持状态包括用于指示哪只手正在握持该便携式信息终端的信息。根据估计的握持状态，便携式信息终端确定触摸面板上应显示图标的位置，以使得用户可以在当前握持状态下容易地操作终端(例如，参见专利文献2)。
专利文献1：日本特开专利公布No.2011-228913
专利文献2：日本特开专利公布No.2013-222322
发明内容
在一个方面中，本发明的目的在于，即使在图像分析装置具有相对小的屏幕的情况下，也允许向用户可靠地报告与图像分析相关联的指令。
根据一个方面的图像分析装置包括显示器、相机、估计单元、创建单元、导引单元以及显示控制单元。相机拍摄位于显示器前方的对象的图像。估计单元估计其图像已经由相机拍摄的对象的形状和位置。创建单元根据对象的形状和位置在显示器上创建显示区域。导引单元根据对象的形状和位置计算对象的导引方向。显示控制单元在显示区域上显示基于导引方向的导引指令。
附图说明
图1示出了根据第一实施方式的图像分析装置的示例性配置；
图2示出了进行掌静脉认证的示例；
图3示出了根据第一实施方式的视觉可检查区域的示例；
图4示出了根据第一实施方式的视觉可检测区域的另一示例；
图5示出了根据第一实施方式的用于指示预定认证范围的认证范围表的示例；
图6示出了根据第一实施方式的导引画面的示例；
图7是示出了根据第一实施方式的依赖于图像认证装置的生物认证方法的流程图；
图8是示出了根据第一实施方式的视觉检查可执行性确定过程的流程图；
图9示出了根据第二实施方式的图像分析装置的示例性配置；
图10示出了根据第二实施方式的计算导引后的视觉可检查区域的示例；以及
图11是示出了根据第二实施方式的导引后画面显示过程的示例的流程图。
具体实施方式
如果掌静脉认证装置安装在相比于台式计算机具有相对小的屏幕的装置上或安装在笔记本大小的个人计算机(例如便携式信息终端装置或多功能便携式电话)上，则会发生以下问题。也就是说，当在相机上方举起手掌以拍摄手掌的图像时，将发生手掌可能会从视野遮挡显示项的问题。如果显示项被从视野遮挡，则将变得难以正确地向用户给出指令，以改变用于拍摄认证图像的手的位置和/或高度，从而降低了可用性。
在一个方面中，本发明的目的在于，即使在图像分析装置具有相对小的屏幕的情况下，也允许向用户容易地报告与图像分析相关联的指令。
(第一实施方式)
参照附图，下面将根据第一实施方式描述图像分析装置50。图1示出了根据第一实施方式的图像分析装置50的示例性配置。如图1所描绘的，图像分析装置50包括显示器52、相机54、处理装置60以及存储装置56。图像分析装置50包括用作生物认证装置的功能。例如，便携式信息终端装置、多功能便携式电话等可以用作图像分析装置50。在该情况下，图像分析装置50配备有通信功能等，并且示出了允许图像分析装置50用作生物认证装置的功能。
显示器52是显示信息的显示装置，并且例如显示器52是液晶显示装置。在处理装置60的控制下，显示器52显示预定图像。显示器52可以包括触摸面板。当显示器52包括触摸面板时，显示器52在处理装置60的控制下显示预定图像，并且感测触摸面板上的触摸。当感测到对与显示在画面上的项对应的部分的触摸时，显示器52输出与画面上所感测到触摸的位置对应的信息。
相机54是图像拍摄装置，除了成像器以外，相机54还可以包括照明器。在本实施方式中，相机54拍摄要进行生物认证的对象的图像。相机54拍摄位于显示器52前方的对象的图像。存储装置56例如是存储器，并且存储数据库76、导引画面数据78等。数据库76包括由图像分析装置50执行图像分析处理所必需的信息，例如供生物认证使用的认证范围表(该认证范围表将在下文中描述)和登记特征数据。导引画面数据78是包括用于导引对象的位置的指令的画面数据。存储装置56可以存储用于控制图像分析装置50的操作的程序。当图像分析装置50正在执行各种类型的处理时，存储装置56根据需要可以用作工作空间，例如图像缓冲器。
处理装置60例如是执行图像分析装置50的各种类型的处理的运算处理装置(处理器)。处理装置60可以读取并执行例如预先存储在存储装置56中的控制程序，以便执行图像分析装置50的各种类型的处理。在该情况下，处理装置60实现以下单元的功能：管理单元62、特征提取单元64、整理单元66、估计单元68、创建单元70、导引单元72以及显示控制单元74。替选地，图像分析装置50可以包括与由处理装置60所实现的功能中的一些功能或所有功能对应的集成电路。
管理单元62执行对由图像分析装置50执行的全部生物认证处理进行汇总的处理。特征提取单元64从由相机54拍摄的图像中提取要供认证使用的生物特征。整理单元66执行整理处理。具体地，整理单元66使用由特征提取单元64提取的登记特征数据来输出相似度水平，其指示该登记特征数据与输入数据之间的相似度。
估计单元68执行获得对象的三维形状的处理。估计单元68估计其图像已经由相机54拍摄的对象的形状和位置。具体地，估计单元68通过执行明暗恢复形状(SFS)处理等来获得对象的三维形状。例如，可以使用以下处理作为SFS处理，在该处理中，针对对象上的多个位置中的每个来测量亮度，并且针对多个位置中的每个来计算从该位置到光源的距离，以获得对象的三维形状。
创建单元70根据对象的三维形状来计算估计能够由用户看到的视觉可检查区域，并且创建指令的显示区域。具体地，创建单元70根据对象的形状和位置在显示器52上创建的显示区域。根据所计算的对象的三维形状(形状和位置)，导引单元72计算对象要被导引的导引方向。显示控制单元74执行在由创建单元70所创建的显示区域上显示基于计算的导引方向的指令的处理。
图2示出了使用例如以平板电脑终端装置或多功能便携式电话(这二者在下文中可以被称为多功能便携式电话)形式的图像分析装置50进行掌静脉认证的示例。当使用安装在多功能便携式电话等上的掌静脉认证装置进行认证时，显示项可能由手掌从视野遮挡。如由图2中的手80所指示的，图像分析装置50的显示器52可以从视野部分地遮挡。显示器52的由手82或84从视野遮挡的部分取决于手的大小和/或位置。然而，显示器52的一部分从视野遮挡使得难以正确地向用户给出用于导引手的适当位置和/或高度的导引指令，从而降低了可用性。这是由小设备产生的问题，尽管这样的问题在笔记本型个人计算机或大型平板电脑终端中很少发生。
在多功能便携式电话等的情况下，当身体在水平或竖直方向上旋转时，画面响应于加速度传感器也在水平或竖直方向上旋转。因此，在试图在用作掌静脉认证传感器的相机54上方将用户的手举起时，用户可能遮盖错误的位置。在这样的情况下，在给出导引指令时，手可能从视野遮挡画面。
具体地，由于掌静脉认证是非接触式认证，因此不需要固定手的位置和高度。此外，由于每个个体的手的大小和形状不同，所以难以确定要显示的用于导引指令、指令输入等的用户接口(UI)画面(在下文中可以将该画面称作导引画面)的独特位置。
图3示出了根据第一实施方式的视觉可检查区域的示例。如图3所示，眼睛90例如处于在从显示器52的中心垂直地延伸的直线上。在这样的情况下，根据拍摄图像来估计对象92的三维图像。眼睛90针对从边界98延伸至边界96的区域来视觉地检查显示器52的画面94。在图3中，画面94的位于边界97的左方的部分由对象92从视野遮挡并且因此无法被视觉地检查，其中，边界97位于对象92的右方。因此，在图3的示例中，视觉可检查区域100表示画面94的可以由眼睛90视觉地检查的范围。如上所述，例如通过SFS处理获得对象92的形状。如上所述，确定眼睛90是否可以视觉检查画面94上的多个点。
图4示出了根据第一实施方式的视觉可检查区域的另一示例。如图4所描绘的，根据对象92的估计形状和眼睛90的位置来确定眼睛90是否可以视觉地检查显示器52的画面94上的区域。具体地，确定对象92是否存在于连结显示器52的画面94上的点与用户的眼睛90的线上。用户无法看到由对象92所遮盖的区域，并且因此将由对象92遮盖的区域限定为视觉不可检查区域102。同时，用户可以看到未被对象92遮盖的区域，并且因此将该区域判断为视觉可检查区域104。在导引处理中，图像分析装置50将导引画面显示在视觉可检查区域104上。下面将描述视觉可检查区域的确定。
图5示出了根据第一实施方式的指示预定认证范围的认证范围表125的示例。认证范围表125是依照用于生物认证的图像分析装置50的性能指示存在对象的优选的三维范围的信息。认证范围表125包括“高度范围”、“X-方向范围”以及“Y-方向”范围。高度例如是从显示器52的画面至对象的距离。X方向和Y方向例如是在与显示器52平行的平面上的二维方向。针对三维方向中的每个方向，指示存在对象的范围。例如，当在由认证范围表125所指示的范围内存在对象时，可以进行生物认证。
图6示出了根据第一实施方式的导引画面的示例。以上述方式确定的视觉可检查区域104的形状可能会由于各种情况而改变。因此，为导引画面优选地制备多种布局。图案被存储在存储装置56中作为导引画面数据78。可以制备例如以下三种图案用于选择：用于水平视觉可检查区域的导引显示项110、用于正方形视觉可检查区域的导引显示项112以及用于竖直视觉可检查区域的导引显示项114。具体地，取决于导引的类型(例如移动的方向)和视觉可检查区域的大小和形状的多个模板被优选地保存。例如，当通过参照认证范围表125计算的对象的三维位置与记录在认证范围表125中的区域不同时，可以显示预定项以将对象导引到优选的范围中。还优选的是，适当地改变显示导引画面的位置。例如，可以将导引画面显示在尽可能大的视觉可检查区域上。可以将导引画面显示在尽可能远离相机54的视觉可检查区域上。
图7是示出了根据第一实施方式的依赖于图像分析装置50的生物认证方法的流程图。如图7所描绘的，图像分析装置50的管理单元62使得相机54照射生物对象(例如手掌)并且拍摄认证图像(S131)。认证图像是用于认证处理的图像；在掌静脉认证的情况下，手掌图像对应于认证图像。
管理单元62获取距离信息(S132)。通过根据认证图像按照SFS处理等计算对象距离来获得距离信息。例如，优选的是，使用通过SFS处理等计算的到对象上的点的距离的平均值。
管理单元62执行位置确定处理(S133)。位置确定处理是确定对象在竖直和水平方向上的位置是否在预定范围内的处理。预期根据例如对象的重心坐标的位置来确定竖直和水平方向上的位置。可以根据安装在传感器上的距离传感器来计算距离信息。这样的配置增加了制造装置的成本，但是提高了精确度。
当位置适当时(S134：是)，管理单元62执行认证处理(S135)。认证处理例如是掌静脉认证处理。管理单元62根据由相机54拍摄的图像和来自存储在存储装置56中的数据库76的登记特征数据来进行认证。
当位置不适当时(S134：否)，创建单元70执行视觉检查可执行性确定处理(S136)，显示例如用于移动对象的位置的导引画面(S137)，并且返回至S131以重复进行该处理。
图8是示出了根据第一实施方式的视觉检查可执行性确定处理的流程图。在视觉检查可执行性确定处理中，管理单元62将i＝1设置作为其图像已经被使用相机54拍摄的对象上的点的索引(S141)。可以任意地确定对象上的点，例如可以以预定距离的间隔来确定这样的点。管理单元62计算画面上的处于用于连结眼睛90的估计位置Q和对象坐标的直线的延长线上的坐标P(X,Y)(S142)。
下面将描述视觉可检查区域计算处理。创建单元70将从估计单元68获得的对象的三维数据(Xi,Yi,Zi)(i＝1,…,N)以及用户的眼睛90的估计位置Q(Xe,Ye,Ze)用作输入来输出视觉可检查区域。在本示例中，X、Y及Z例如表示以画面94的中心为原点的三维坐标。
首先，将给出从三维形状获取单元获得的对象的三维数据Oi(Xi,Yi,Zi)的描述。(Xi,Yi,Zi)表示通过SFS处理等获得的对象在三维坐标中的第i个数据点。在本示例中，i＝1,…,N分别指示被分配给获得的三维信息的编号。
估计单元68确定用户是否可以看到画面上的点(x,y)，并且设置可见性标记(S143)。x和y表示画面上的坐标，并且优选地将测量单位从像素改变为长度(mm)。估计单元68确定画面上的位于连结用户的眼睛的位置Q(Xe,Ye,Ze)和对象(Xi,Yi,Zi)的直线的延长线上的点P(x,y)(S142)。当确定点(x,y)由对象遮盖并且无法由用户看到时，可见性标记＝0被设置用于点P(x,y)。
下面将描述确定对象是否存在于点P和点Q之间的过程。在三维坐标系X、Y、Z内确定用于连结用户的眼睛的估计位置Q(Xe,Ye,Ze)和对象Oi(Xi,Yi,Zi)的直线l。如由公式1所表示的，可以使用参数t来确定直线l。
X＝Xe+(Xi-Xe)t
Y＝Ye+(Yi-Ye)t
Z＝Ze+(Zi-Ze)t
...(公式1)
接下来，确定作为直线l与画面94的截取点的点P(x,y)。由于画面上的Z坐标满足Z＝0，所以如由公式2所表示的，可以根据公式1来确定参数t。
t＝Ze/(Ze-Zi)…(公式2)
通过将参数t代入公式1，可以确定画面上的点P(x,y)。当例如点P(x,y)处于画面94的范围内时(P(x,y)处于画面94上取决于画面94的大小)，确定点P(x,y)由对象遮盖并且用户看不到(不可视觉检查)。在该情况下，可见性标记＝0被设置用于点P(x,y)。
当i≤N(S144:否)时，创建单元70设置i＝i+1(S145)，并且再次从S141开始重复进行该处理。当i>N(S144:是)时，创建单元70结束视觉检查可执行性确定处理。通过将这样的处理施加至对象上的所有预设点，计算出视觉可检查区域。将参照图6所描述的导引显示项110显示在所计算的视觉可检查区域内，使得画面能够在不被对象遮盖的情况下被视觉地检查。
接下来，将根据所计算的视觉可检查区域给出显示导引画面的处理的描述。导引单元72执行导引画面显示处理，在导引画面显示处理中使用存储在存储装置56中的导引画面数据78。例如，导引画面数据78可以优选地包括与取决于导引细节的“导引图案”对应的导引画面。例如，导引图案可以优选地包括如下项。
.向下导引手
.向上导引手
.向右导引手
.向左导引手
.向下导引手(在手靠近画面的方向上)
.向上导引手(在手移动离开画面的方向上)
参照第一实施方式，图6描绘了三种图案的导引画面，这三种图案各自具有不同的长宽比。例如，在向右导引手时，优选的是，制备图6所描绘的三种画面图案，以便使用来自这些图案中的适当的图像。
例如，导引单元72可以确定所计算的视觉可检查区域的长宽比，并且选择和显示其长宽比最接近所确定的长宽比的导引画面。根据视觉可检查区域的面积来调整整个导引画面的大小。例如，导引单元72可以对视觉可检查区域进行标记，以便移除小区域，并且然后确定最宽的区域S。导引单元72确定最宽区域S的长度和宽度，并且根据长度和宽度之间的比例从例如图6所描绘的三种图案中选择适当的图像。
例如，当视觉可检查区域足够大时，可以一起使用字符如图6中所描绘的那些字符(例如“移开你的手”)以及对象如箭头来给出导引。同时，当视觉可检查区域较小时，难以显示字符，并且可以通过仅显示直观导引(如箭头)来有效地使用有限的显示区域。
如上所述，根据第一实施方式的图像分析装置50包括显示器52、相机54、估计单元68、创建单元70、导引单元72以及显示控制单元74。相机54拍摄位于显示器52前方的对象的图像。估计单元68估计其图像已经由相机54拍摄的对象的形状和位置。创建单元70根据对象的形状和位置在显示器52上创建显示区域。导引单元72根据对象的形状和位置计算对象的导引方向。显示控制单元74将取决于导引方向的导引指令显示在显示区域上。
当图像分析装置50用作例如掌静脉认证装置时，图像分析装置50可以安装在小型装置如多功能便携式电话上。与此类似，当小型装置用作图像分析装置50时，也将项显示在画面上未被对象遮盖的位置，以使得可以向用户可靠地给出基于图像分析的指令，从而提高可用性。允许以高可用性进行生物认证的小型装置可以用作个人认证的非常有效的装置。具体地，这样的装置预期被有价值地用于需要安全措施的各种场合。
在多功能便携式电话等的情况下，画面也响应于加速度传感器在水平或竖直方向上旋转，导致用户在试图将她/他的手在掌静脉认证传感器的位置上方举起时可能会将她/他的手保持在错误位置上方。当在这样的情况下给出导引时，防止画面由手从视野遮挡。具体地，即使由于掌静脉认证是非接触式认证而不需要固定手的位置和高度，并且即使每个个体的手的大小和形状不同，也可以将导引画面显示在可以视觉检查的位置处。
(第二实施方式)
下面将描述根据第二实施方式的图像分析装置200。参照第二实施方式，对与参照第一实施方式所使用的部件和操作类似的部件和操作给出类似的附图标记，并且在本文中不给出重复描述。
图9示出了根据第二实施方式的图像分析装置200的示例性配置。如图9所描绘的，图像分析装置200包括显示器52、相机54、处理装置210以及存储装置56。图像分析装置200包括用作生物认证装置的功能。例如，可以将便携式信息终端装置、多功能便携式电话等用作图像分析装置200。在该情况下，图像分析装置200配置有通信功能等，并且示出了使得图像分析装置50能够用作生物认证装置的功能。
处理装置210是用于执行图像分析装置200的各种类型的处理的运算处理装置。处理装置210可以读取和执行例如预先存储在存储装置56中的控制程序，以便执行如图像分析装置200的各种类型的处理。在该情况下，如根据第一实施方式的图像分析装置50中一样，处理装置210实现以下单元的功能：管理单元62、特征提取单元64、整理单元66、估计单元68、创建单元70、导引单元72以及显示控制单元74。此外，处理装置210实现导引后坐标计算单元212的功能。替代地，图像分析装置200可以包括与由处理装置60所实现的功能中的一些功能或所有功能对应的集成电路。导引后坐标计算单元212计算对象在导引后的坐标。在第二实施方式中，图像分析装置200计算优选地用于显示导引画面的导引后视觉可检查区域。
图10示出了根据第二实施方式的计算导引后视觉可检查区域的示例。如图10所示，显示器52和眼睛90之间的位置关系与图4的示例中所描绘的类似。当判断对象92的位置不适当时，优选地将对象92导引至例如导引后对象222的位置。在该情况下，优选的是，图像分析装置200确定当前视觉可检查区域100与导引后视觉可检查区域224彼此交叠的区域，并且将导引画面显示在所确定的区域内。将导引画面显示在导引对象后用户可以看到的区域内，使得即使在给出导引的处理期间也总是可以看到导引画面。
优选的是，图像分析装置200预测对象在导引至导引后对象222的位置后的位置，并且确定导引后视觉可检查区域224。当导引后视觉可检查区域224足够大时，可以一起使用字符如在图6中所描述的那些字符(例如“移开你的手”)以及对象如箭头来给出导引。同时，当视觉可检查区域较小时，难以显示字符，并且可以通过仅显示直观导引如箭头来有效地使用有限的显示区域。
下面描述计算导引后视觉可检查区域的示例以及导引画面的示例。图11是示出了根据第二实施方式的导引后画面显示处理的示例的流程图。导引后坐标计算单元212计算导引宽度(S231)。导引宽度是基于其图像已经被拍摄的对象的三维信息所计算的导引量。在针对高度＝Z给出导引时，根据公式3来确定ΔZ。
ΔZ＝(当前对象坐标Zi的平均值)-(导引后的高度Z)...(公式3)
导引后的高度Z例如可以是与由图5中的认证范围表125所指示的预定认证范围内的当前高度最接近的值。可以以类似的方式来确定基于X坐标和Y坐标的导引宽度。具体地，可以在给出导引后以使对象的中心(例如手掌的中心)与画面的中心相匹配的方式来计算导引宽度。
导引后坐标计算单元212根据导引前的对象坐标和所计算的导引宽度来计算导引后对象坐标O'i(Xi',Yi',Zi')(S232)。导引后坐标计算单元212根据导引后对象坐标来计算导引后视觉可检查区域(S233)。导引后坐标计算单元212确定根据导引后对象坐标计算的导引后视觉可检查区域与当前视觉可检查区域彼此交叠的区域，并且将导引画面显示在所确定的区域中(S234)。以该方式，当需要将对象导引至适当位置时，图像分析装置200将导引画面显示在不会被导引后的对象遮盖的位置处。因此，要由用户看到的导引画面即使在导引处理期间也不会被遮盖，从而提高了可用性。根据所计算的导引后视觉可检查区域显示导引画面的处理与第一实施方式类似。
如上所述，根据第二实施方式的图像分析装置200将导引画面显示在导引对象前的视觉可检查区域与导引对象后的视觉可检查区域的公共区域上。以该方式，图像分析装置200能够适当地确定要显示导引画面的位置。由于导引画面被显示在适当位置，所以用户在移动对象的同时可以总是视觉地检查导引画面，这提高了可用性。
本发明不限于上述实施方式，并且在不脱离本发明的精神的情况下可以具有多种配置或实施方式。在例如上述第一和第二实施方式中，将预定值用作用户的眼睛90的估计位置Q(Xe,Ye,Ze)的标准值；然而，实际上，假定标准值对于每个用户而言是不同的。因此，Q(Xe,Ye,Ze)可以针对每个用户单独设置。这使得用于显示要选择的导引画面的位置能够符合更实际的情况。
对于导引画面而言，制备具有不同长宽比的多个画面，并且对所述多个画面进行缩放，但是本发明不限于此。例如，优选的是，根据导引画面的大小适当切换显示信息。当例如将字符显示在导引画面上时，如果画面缩小至一定程度或更大程度，则用户无法看到字符。因此，取决于要显示的导引画面的大小，可以对导引画面进行切换。具体地，在具有足够大的视觉可检查区域的情况下，在导引画面上显示字符和图像二者。然而，在具有不足够大的显示区域的情况下，可以仅将图像(例如，箭头“→”)显示在导引画面上，而不显示字符。这样的配置提高了可用性。
除了SFS处理以外，还可以使用多种方案，例如基于激光的光切割法或使用在格子图案中排列的聚光仪器的方案。当存在多个视觉可检查区域时，优选的是，优先选择画面94上尽可能远离相机54的区域。这样的选择可以降低导引画面由对象遮盖的可能性。

Claims (4)

1.一种图像分析装置，包括：
显示器；
相机，其拍摄位于所述显示器前方的对象的图像；
估计单元，其估计所述对象的形状，所述对象的图像已经由所述相机拍摄；
创建单元，其根据所述对象的形状在所述显示器上创建显示区域；
导引单元，其根据所述对象的形状计算所述对象的导引方向；以及
显示控制单元，其在所述显示区域上显示基于所述导引方向的导引指令。
2.根据权利要求1所述的图像分析装置，其中，所述创建单元根据由所述导引单元计算的导引方向改变所述显示区域。
3.根据权利要求1所述的图像分析装置，其中，所述创建单元优先创建远离所述相机的显示区域。
4.一种图像分析方法，包括：
通过图像分析装置估计对象的形状，所述对象位于显示器前方，并且所述对象的图像已经由相机拍摄；
通过所述图像分析装置根据所述对象的形状在所述显示器上创建显示区域；
通过所述图像分析装置根据所述对象的形状计算所述对象的导引方向；以及
通过所述图像分析装置在所述显示区域上显示基于所述导引方向的导引指令。
CN201610151016.1A 2015-03-31 2016-03-16 图像分析装置及图像分析方法 Pending CN106020436A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-074174 2015-03-31
JP2015074174A JP2016194799A (ja) 2015-03-31 2015-03-31 画像解析装置及び画像解析方法

Publications (1)

Publication Number Publication Date
CN106020436A true CN106020436A (zh) 2016-10-12

Family

ID=55637154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610151016.1A Pending CN106020436A (zh) 2015-03-31 2016-03-16 图像分析装置及图像分析方法

Country Status (5)

Country Link
US (1) US20160292525A1 (zh)
EP (1) EP3076334A1 (zh)
JP (1) JP2016194799A (zh)
KR (1) KR20160117207A (zh)
CN (1) CN106020436A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258461A (zh) * 2017-09-09 2020-06-09 苹果公司 生物识别认证的实现
US10956550B2 (en) 2007-09-24 2021-03-23 Apple Inc. Embedded authentication systems in an electronic device
US10977651B2 (en) 2014-05-29 2021-04-13 Apple Inc. User interface for payments
US11037150B2 (en) 2016-06-12 2021-06-15 Apple Inc. User interfaces for transactions
US11074572B2 (en) 2016-09-06 2021-07-27 Apple Inc. User interfaces for stored-value accounts
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11200309B2 (en) 2011-09-29 2021-12-14 Apple Inc. Authentication with secondary approver
US11206309B2 (en) 2016-05-19 2021-12-21 Apple Inc. User interface for remote authorization
US11287942B2 (en) 2013-09-09 2022-03-29 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces
US11321731B2 (en) 2015-06-05 2022-05-03 Apple Inc. User interface for loyalty accounts and private label accounts
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
US11386189B2 (en) 2017-09-09 2022-07-12 Apple Inc. Implementation of biometric authentication
US11393258B2 (en) 2017-09-09 2022-07-19 Apple Inc. Implementation of biometric authentication
US11481769B2 (en) 2016-06-11 2022-10-25 Apple Inc. User interface for transactions
US11574041B2 (en) 2016-10-25 2023-02-07 Apple Inc. User interface for managing access to credentials for use in an operation
US11619991B2 (en) 2018-09-28 2023-04-04 Apple Inc. Device control using gaze information
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition
US11783305B2 (en) 2015-06-05 2023-10-10 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
US12002042B2 (en) 2022-10-13 2024-06-04 Apple, Inc User interface for transactions

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
EP3482345B1 (en) * 2017-09-09 2021-12-08 Apple Inc. Implementation of biometric authentication with detection and display of an error indication
DE102017221663A1 (de) * 2017-12-01 2019-06-06 Audi Ag Identifizierungseinrichtung zum Identifizieren einer Person, Verfahren zum Identifizieren einer Person, und Kraftfahrzeug
JP6988523B2 (ja) * 2018-01-30 2022-01-05 富士通株式会社 生体認証装置、生体認証プログラム、及び生体認証方法
US11941629B2 (en) 2019-09-27 2024-03-26 Amazon Technologies, Inc. Electronic device for automated user identification
US11270102B2 (en) 2020-06-29 2022-03-08 Amazon Technologies, Inc. Electronic device for automated user identification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031495A1 (en) * 2006-08-07 2008-02-07 Fujitsu Limited Image authenticating apparatus, image authenticating method, image authenticating program, recording medium, electronic device, and circuit substrate
US20130243264A1 (en) * 2010-07-29 2013-09-19 Fujitsu Limited Biometric authentication device and computer readable medium
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
CN104335143A (zh) * 2012-06-13 2015-02-04 索尼公司 图像处理装置、图像处理方法和程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034843A1 (en) * 2005-08-18 2009-02-05 Koninklijke Philips Electronics, N.V. Device for and method of displaying user information in a display
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP5447134B2 (ja) 2010-04-19 2014-03-19 カシオ計算機株式会社 画像処理装置、返信画像生成システム、及び、プログラム
US20140330900A1 (en) * 2011-11-23 2014-11-06 Evernote Corporation Encounter-driven personal contact space
JP2013222322A (ja) 2012-04-17 2013-10-28 Nec Casio Mobile Communications Ltd 携帯情報端末、及びそのタッチパネルにおける表示方法
CN103870812A (zh) * 2014-03-13 2014-06-18 上海云享科技有限公司 一种获取掌纹图像的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031495A1 (en) * 2006-08-07 2008-02-07 Fujitsu Limited Image authenticating apparatus, image authenticating method, image authenticating program, recording medium, electronic device, and circuit substrate
US20130243264A1 (en) * 2010-07-29 2013-09-19 Fujitsu Limited Biometric authentication device and computer readable medium
CN104335143A (zh) * 2012-06-13 2015-02-04 索尼公司 图像处理装置、图像处理方法和程序
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956550B2 (en) 2007-09-24 2021-03-23 Apple Inc. Embedded authentication systems in an electronic device
US11468155B2 (en) 2007-09-24 2022-10-11 Apple Inc. Embedded authentication systems in an electronic device
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition
US11200309B2 (en) 2011-09-29 2021-12-14 Apple Inc. Authentication with secondary approver
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11494046B2 (en) 2013-09-09 2022-11-08 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US11287942B2 (en) 2013-09-09 2022-03-29 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces
US11768575B2 (en) 2013-09-09 2023-09-26 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US11836725B2 (en) 2014-05-29 2023-12-05 Apple Inc. User interface for payments
US10977651B2 (en) 2014-05-29 2021-04-13 Apple Inc. User interface for payments
US11321731B2 (en) 2015-06-05 2022-05-03 Apple Inc. User interface for loyalty accounts and private label accounts
US11783305B2 (en) 2015-06-05 2023-10-10 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US11734708B2 (en) 2015-06-05 2023-08-22 Apple Inc. User interface for loyalty accounts and private label accounts
US11206309B2 (en) 2016-05-19 2021-12-21 Apple Inc. User interface for remote authorization
US11481769B2 (en) 2016-06-11 2022-10-25 Apple Inc. User interface for transactions
US11900372B2 (en) 2016-06-12 2024-02-13 Apple Inc. User interfaces for transactions
US11037150B2 (en) 2016-06-12 2021-06-15 Apple Inc. User interfaces for transactions
US11074572B2 (en) 2016-09-06 2021-07-27 Apple Inc. User interfaces for stored-value accounts
US11995171B2 (en) 2016-10-25 2024-05-28 Apple Inc. User interface for managing access to credentials for use in an operation
US11574041B2 (en) 2016-10-25 2023-02-07 Apple Inc. User interface for managing access to credentials for use in an operation
US11393258B2 (en) 2017-09-09 2022-07-19 Apple Inc. Implementation of biometric authentication
US11765163B2 (en) 2017-09-09 2023-09-19 Apple Inc. Implementation of biometric authentication
US11386189B2 (en) 2017-09-09 2022-07-12 Apple Inc. Implementation of biometric authentication
CN111258461A (zh) * 2017-09-09 2020-06-09 苹果公司 生物识别认证的实现
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11928200B2 (en) 2018-06-03 2024-03-12 Apple Inc. Implementation of biometric authentication
US11619991B2 (en) 2018-09-28 2023-04-04 Apple Inc. Device control using gaze information
US11809784B2 (en) 2018-09-28 2023-11-07 Apple Inc. Audio assisted enrollment
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11610259B2 (en) 2019-03-24 2023-03-21 Apple Inc. User interfaces for managing an account
US11669896B2 (en) 2019-03-24 2023-06-06 Apple Inc. User interfaces for managing an account
US11688001B2 (en) 2019-03-24 2023-06-27 Apple Inc. User interfaces for managing an account
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
US12002042B2 (en) 2022-10-13 2024-06-04 Apple, Inc User interface for transactions

Also Published As

Publication number Publication date
EP3076334A1 (en) 2016-10-05
JP2016194799A (ja) 2016-11-17
US20160292525A1 (en) 2016-10-06
KR20160117207A (ko) 2016-10-10

Similar Documents

Publication Publication Date Title
CN106020436A (zh) 图像分析装置及图像分析方法
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN105659295B (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
JP4701424B2 (ja) 画像認識装置および操作判定方法並びにプログラム
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
CN105308549B (zh) 信息处理装置、控制方法、程序和存储介质
CN108027654B (zh) 输入设备、输入方法和程序
CN107615214A (zh) 界面控制系统、界面控制装置、界面控制方法及程序
JP2011054118A5 (ja) 情報処理装置、表示制御方法及び表示制御プログラム
US9836130B2 (en) Operation input device, operation input method, and program
US20120219177A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
CN104081307A (zh) 图像处理装置、图像处理方法和程序
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
JP2016091457A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
US20130321404A1 (en) Operating area determination method and system
KR20190048506A (ko) 가상 공간 제공 방법 및 장치
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
JP2013149228A (ja) 位置検出装置、および位置検出プログラム
JP2021002290A (ja) 画像処理装置およびその制御方法
CN113282164A (zh) 一种处理方法和装置
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10645363B2 (en) Image-based edge measurement
JP2009151516A (ja) 情報処理装置および情報処理装置用操作者指示点算出プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161012