CN113454978B - 信息处理设备、信息处理方法和存储介质 - Google Patents

信息处理设备、信息处理方法和存储介质 Download PDF

Info

Publication number
CN113454978B
CN113454978B CN201980092581.7A CN201980092581A CN113454978B CN 113454978 B CN113454978 B CN 113454978B CN 201980092581 A CN201980092581 A CN 201980092581A CN 113454978 B CN113454978 B CN 113454978B
Authority
CN
China
Prior art keywords
image
captured images
reference member
captured
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980092581.7A
Other languages
English (en)
Other versions
CN113454978A (zh
Inventor
福田纯一
中村良介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN113454978A publication Critical patent/CN113454978A/zh
Application granted granted Critical
Publication of CN113454978B publication Critical patent/CN113454978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Abstract

本公开的信息处理装置包括：获取单元，其获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及，合成单元，其基于多个捕获图像中的每个中包括的基准构件的形状从多个捕获图像生成单个合成图像。

Description

信息处理设备、信息处理方法和存储介质
技术领域
本公开涉及一种信息处理设备、一种信息处理方法和一种记录介质。
背景技术
专利文献1公开了一种图像处理设备，该图像处理设备通过在对图像中的每个执行图像处理之后合成包括被摄体的多个捕获图像来校正由于反射光或阴影而导致的缺失部分。专利文献1还公开了在合成多个捕获图像之前执行诸如重新成形、缩放等的过程。
[引用列表]
[专利文献]
PTL1：日本专利申请特开No.2010-72813
发明内容
[技术问题]
然而，在专利文献1中公开的技术中，当在合成多个捕获图像时执行了不合适的校正过程时，可能降低合成图像的准确度。
因此，鉴于上述问题，本公开的示例目的是为了提供能够高精确地合成多个图像的信息处理设备、信息处理方法和存储介质。
[问题的解决方案]
根据本公开的一个示例方面，提供了一种信息处理设备，该信息处理设备包括：获取单元，该获取单元获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及合成单元，该合成单元基于多个捕获图像中的每个中包括的基准构件的形状从多个捕获图像生成一个合成图像。
根据本公开的另一示例方面，提供了一种信息处理方法，该信息处理方法包括：获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及基于捕获图像中包括的基准构件的形状从多个捕获图像生成一个合成图像。
根据本公开的又一示例方面，提供了一种存储程序的存储介质，该程序使计算机执行：获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及基于捕获图像中包括的基准构件的形状从多个捕获图像生成一个合成图像。
[发明的有利效果]
根据本公开，提供了能够高精确地合成多个图像的信息处理设备、信息处理方法和存储介质。
附图说明
图1是图示第一示例实施例中的图像管理系统的整体配置示例的框图。
图2是图示第一示例实施例中的图像管理系统的功能的框图。
图3是图示第一示例实施例中的存储在存储单元中的指纹图像信息的示例的图。
图4A是图示第一示例实施例中的生成指纹图像的方法的图。
图4B是图示第一示例实施例中的生成指纹图像的方法的图。
图4C是图示第一示例实施例中的生成指纹图像的方法的图。
图4D是图示第一示例实施例中的生成指纹图像的方法的图。
图5是图示第一示例实施例中的管理服务器和用户终端的硬件配置示例的框图。
图6是图示第一示例实施例中的图像管理系统中的过程的示例的顺序图。
图7是图示第一示例实施例中的在用户终端上显示的操作引导画面的示例的图。
图8是图示第二示例实施例中的图像管理系统的功能的框图。
图9是图示第二示例实施例中的图像管理系统中的过程的示例的顺序图。
图10是图示第二示例实施例中的在用户终端上显示的操作引导画面的示例的图。
图11是图示第三示例实施例中的信息处理设备的功能的框图。
具体实施方式
将在下面参考附图描述本公开的示例性示例实施例。贯穿附图，类似的特征或对应的特征用相同的附图标记进行标记，并且可以省略或简化其描述。
[第一示例实施例]
首先，将参考图1至图5描述示例实施例中的图像管理系统1的配置。图1是图示示例实施例中的图像管理系统1的整体配置示例的框图。图像管理系统1是包括管理服务器10和用户终端20的信息处理系统。管理服务器10和用户终端20被连接到诸如局域网(LAN)或因特网的网络30。在图1的示例中，用户终端20与基站40一起执行无线通信并且经由基站40连接到网络30。
管理服务器10是注册并管理从用户终端20传送的皮肤纹理图案的图像的信息处理设备。皮肤纹理图案是指纹、掌纹、脚底纹等的一般术语。皮肤纹理图案因人而异，且因此已被广泛地用于人的检查或认证。注意，尽管示例实施例中的术语“皮肤纹理图案”意指人的指纹图像，但是示例实施例的配置以相同的方式适用于其他皮肤纹理图案的图像。
用户终端20是具有图像捕获功能和无线通信功能的便携式终端设备。用户终端20可以是例如智能电话、平板终端、配备相机的移动电话等。示例实施例的用户终端20是智能电话并且被用于同时地捕获指纹50和围绕指纹50的基准构件60的图像。基准构件60是具有已知形状(例如，每边5cm的正方形)的刻度构件，并且其材料不受限制。
图2是图示示例实施例中的图像管理系统1的功能的框图。在此示例中，管理服务器10具有存储单元11、图像获取单元12和图像合成单元13。
存储单元11存储从用户终端20收集的捕获图像、由多个捕获图像合成的合成图像、关于图像的属性信息等。图3是图示示例实施例中的存储在存储单元11中的指纹图像信息的示例的图。在此示例中，将图像ID、捕获日期、捕获地点和指纹图像作为指纹图像信息的数据项来提供。然而，数据项不限于此，并且还可以包括与指纹图像相关联的注册人的姓名、图像捕获人的ID、指纹的特征量、在合成过程中使用的多个捕获图像的文件名等。
图像获取单元12经由网络30从用户终端20获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件60和被摄体(指纹50)。图像获取单元12将多个获取的捕获图像存储在存储单元11中。
图像合成单元13基于多个捕获图像的每个中包括的基准构件60的形状从多个捕获图像生成一个合成图像。例如，多个捕获图像是从彼此不同的捕获位置(捕获角度、捕获距离)捕获的图像。
此外，图像合成单元13通过在对多个捕获图像中的每个进行重新成形之后合成多个捕获图像来生成合成图像，使得捕获图像内的基准构件60的形状与从以前面(正上方)观察的基准构件60的形状匹配。
此外，图像合成单元13通过从多个捕获图像中选择并合成满足预定捕获条件的捕获图像来生成合成图像。捕获条件包括照明光的反射区域和捕获位置中的至少一个。捕获条件的特定示例可以提供：(A)当执行多次捕获时并且当存在具有接近捕获角度的捕获图像时，仅选择图像中的一些；(B)排除由于照明光而更多发生白化的图像并且仅选择具有高捕获质量的图像；(C)仅选择补充一个捕获图像的缺失区域所需要的捕获图像等。
当多个捕获图像中的每个包括不同的缺失区域时，图像合成单元13用另一捕获图像中的对应区域的像素值补充一个捕获图像中的缺失区域。接下来，将描述生成指纹图像的方法和补充缺失区域的方法。
图4A至图4D是图示示例实施例中的生成指纹图像的方法的图。图4A图示从不同的捕获位置捕获指纹50和基准构件60的图像，其中指纹50被基准构件60围绕。在此示例中，存在五个捕获位置：前面(正上方)位置A、左斜向上位置B、右斜向上位置C、前斜向上位置D和后斜向上位置E。
图4B图示分别在图4A的五个捕获位置A至E处捕获的捕获图像IMG_01至IMG_05。此外，图4B中由虚线围绕的区域指示由于照明光的反射而发生白化的缺失区域。
在从前面位置A捕获的指纹50和基准构件60的捕获图像IMG_01中，缺失区域R1被包括在指纹50的左上部中，而缺失区域R2被包括在右下部中。类似地，在从左斜向上位置B拍摄的捕获图像IMG_02中，缺失区域R3被包括在指纹50的下侧。在从右斜向上位置C拍摄的捕获图像IMG_03中，缺失区域R4被包括在指纹50的上侧。在从前斜向上位置D拍摄的捕获图像IMG_04中，缺失区域R5被包括在指纹50的左侧。此外，在从后斜向上位置E拍摄的捕获图像IMG_05中，缺失区域R6被包括在指纹50的右侧。以这种方式，五个图像中的每个包括缺失区域，并且未获得完整指纹图像。
图4C图示通过对图4B所图示的捕获图像IMG_01至IMG_05执行重新成形处理所获得的校正后的图像IMG_11至IMG_15。通过使用在从前面正上方位置捕获基准构件60时获得的由基准构件60指示的显示形状(包括大小)作为参考值来对捕获图像IMG_01至IMG_05中的每个重新成形。
校正后的图像IMG_11是基于参考值从捕获图像IMG_01重新成形的图像，并且校正后的图像IMG_11中的指纹50、基准构件60及缺失区域R1和R2已以恒定速比率扩大。也就是说，校正后的图像IMG_11中的缺失区域R11和R12分别对应于捕获图像IMG_01中的缺失区域R1和R2。类似地，校正后的图像IMG_12是基于参考值从捕获图像IMG_02重新成形的图像，并且校正后的图像IMG_12中的指纹50、基准构件60和缺失区域R3已主要在横向方向上以恒定速率扩大。也就是说，校正后的图像IMG_12中的缺失区域R13对应于捕获图像IMG_02中的缺失区域R3。
校正后的图像IMG_13是基于参考值从捕获图像IMG_03重新成形的图像，并且校正后的图像IMG_13中的指纹50、基准构件60和缺失区域R4已主要在横向方向上以恒定速率扩大。也就是说，校正后的图像IMG_13中的缺失区域R14对应于捕获图像IMG_03中的缺失区域R4。由于捕获图像IMG_03内的基准构件60的横向长度比捕获图像IMG_02内的基准构件60的长度短，所以扩大比率在捕获图像IMG_03中更大。
校正后的图像IMG_14是基于参考值从捕获图像IMG_04重新成形的图像，并且校正后的图像IMG_14中的指纹50、基准构件60和缺失区域R5已主要在垂直方向以恒定速率扩大。也就是说，校正后的图像IMG_14中的缺失区域R15对应于捕获图像IMG_04中的缺失区域R5。类似地，校正后的图像IMG_15是基于参考值从捕获图像IMG_05重新成形的图像，并且校正后的图像IMG_15中的指纹50、基准构件60和缺失区域R6已主要在垂直方向上以恒定速率扩大。也就是说，校正后的图像IMG_15中的缺失区域R16对应于捕获图像IMG_05中的缺失区域R6。由于捕获图像IMG_04内的基准构件60的垂直长度与捕获图像IMG_02内的基准构件60的长度基本上相同，所以扩大比率在这些图像之间基本上相同。
校正后的图像IMG_11至IMG_15中的缺失区域R11至R16彼此不同，并且可以通过重叠这些图像来消除缺失区域。也就是说，当校正后的图像IMG_11至IMG_15被合成时，能够通过另一图像的对应区域的像素值来补充一个图像的缺失区域。图4D图示通过多个捕获图像IMG_01至IMG_05的重新成形和重叠所合成的合成图像IMG_20。如合成图像IMG_20所图示的，即使当在捕获图像IMG_01至IMG_05中包含缺失区域的情况下，也能够高精确地生成合成图像。
此外，如图2所图示的，用户终端20具有存储单元21、图像捕获单元22、图像传输单元23和通知单元24。
存储单元21存储用户终端20的操作所需要的程序或文件、用户终端20中的处理数据等。图像捕获单元22是控制稍后描述的图像捕获装置259的驱动并且执行捕获被摄体的静止图像或运动图像的过程的图像捕获应用。
图像传输单元23响应于图像捕获单元22中的图像捕获过程的完成而将捕获图像传送到管理服务器10。尽管在示例实施例中图像传输单元23共同地传送针对一个指纹从不同的捕获位置捕获的多个捕获图像，但是可以在捕获图像基础上顺序地传送此类捕获图像。在任何情况下，当捕获对象相同时，为了在管理服务器10侧确定多个捕获图像之间的关系，在捕获图像的传输数据中包括标识捕获对象的ID。
通知单元24在图像捕获期间向稍后描述的显示装置256输出与图像捕获有关的引导信息。引导信息的特定示例可以是为用户指定预定捕获位置、图像捕获的次数等的消息。
图5是图示示例实施例中的管理服务器10和用户终端20的硬件配置示例的框图。管理服务器10具有中央处理单元(CPU)151、随机存取存储器(RAM)152、只读存储器(ROM)153和硬盘驱动器(HDD)154作为执行计算、控制和存储的计算机。此外，管理服务器10具有通信接口(I/F)155、显示装置156和输入装置157。CPU 151、RAM 152、ROM 153、HDD 154、通信I/F 155、显示装置156和输入装置157经由总线158彼此连接。注意，显示装置156和输入装置157可以经由驱动这些装置的驱动装置(未图示)连接到总线158。
CPU 151是具有依照存储在ROM 153、HDD 154等中的程序执行预定操作并且控制管理服务器10的每个单元的功能的处理器。RAM 152由易失性存储介质形成并且提供CPU151的操作所需要的临时存储器区域。ROM 153由非易失性存储介质形成并且存储必要信息，诸如用于管理服务器10操作的程序。HDD 154由非易失性存储介质形成并且是存储处理所需要的数据、管理服务器10的操作程序等的存储装置。
通信I/F 155是基于诸如以太网(注册商标)、Wi-Fi(注册商标)、4G等的规范的通信接口并且是用于与其他装置进行通信的模块。显示装置156是液晶显示器、OLED显示器等并且被用于显示图像、文本、界面等。输入装置157是键盘、指向装置等并且由用户使用来操作管理服务器10。指向装置的示例可以是鼠标、轨迹球、触摸面板、手写板等。可以将显示装置156和输入装置157整体地形成为触摸面板。
CPU 151将存储在ROM 153、HDD 154等中的程序加载到RAM 152中并且执行该程序。由此，CPU 151实现上述图像获取单元12、图像合成单元13等的功能。此外，CPU 151通过控制HDD 154来实现存储单元11的功能。
此外，用户终端20具有CPU 251、RAM 252、ROM 253、通信I/F 255、显示装置256和输入装置257作为执行计算、控制和存储的计算机。由于这些装置与管理服务器10的CPU151、RAM 152、ROM 153、通信I/F 155、显示装置156和输入装置157相同，所以将省略其详细描述。此外，示例实施例的用户终端20是智能电话，且因此具有闪速存储器254而不是HDD154作为大容量存储区域。此外，用户终端20还具有图像捕获装置259，诸如能够捕获静止图像和运动图像的数码相机。CPU 251、RAM 252、ROM 253、通信I/F 255、显示装置256、输入装置257、闪速存储器254和图像捕获装置259经由总线258彼此连接。
CPU 251将存储在ROM 253等中的程序加载到RAM 252中并且执行该程序。由此，CPU 251实现上述图像捕获单元22、图像传输单元23、通知单元24等的功能。此外，CPU 251通过控制闪速存储器254来实现存储单元21的功能。
注意，图5所图示的硬件配置是示例，并且可以添加除上述以外的装置，或者可以省略一些装置。此外，一些装置可以用具有相同功能的另一装置替换。此外，示例实施例的功能的一部分可以由另一装置经由网络30提供，并且示例实施例的功能可以分布并实现在多个装置中。例如，HDD 154可以用使用半导体存储器的固态驱动器(SSD)替换或者可以用云存储替换。
接下来，将描述如上所述配置的图像管理系统1中的图像注册过程。图6是图示示例实施例中的图像管理系统1中的过程的示例的顺序图。
首先，用户终端20(图像捕获单元22)基于用户操作启动指纹图像捕获应用(此后，称为“图像捕获app”)(步骤S101)，然后在显示装置256上显示操作引导画面(步骤S102)。
图7是图示示例实施例中的在用户终端20上显示的操作引导画面的示例的图。在此示例中，操作引导画面显示基准构件60相对于作为被摄体的指纹50的放置的示例以及与图像捕获的开始有关的引导消息(“开始拍摄你的指纹的图片。放置刻度构件以围绕要拍摄的指纹。当准备好拍摄指纹时，按压结束按钮。”)。注意，当结束按钮被按压时，如果依照捕获状态来显示引导生成合成图像所需要的捕获图像的捕获位置或捕获次数的引导消息(例如，“接下来，从刻度构件左上方位置拍摄指纹的图片。”等)，则这是优选的，因为改进了用户处的图像捕获效率。
接下来，用户终端20(图像捕获单元22)在基准构件60被放置以便围绕指纹50的情况下从不同的捕获位置一起捕获指纹50和基准构件60的图像(步骤S103)并且获得多个捕获图像。
接下来，用户终端20(图像传输单元23)使多个捕获图像与公共图像ID相关联并且将捕获图像共同地传送到管理服务器10(步骤S104)。注意，用户终端20可以将捕获图像逐个地传送到管理服务器10。管理服务器10(图像获取单元12)将从用户终端20接收到的多个捕获图像存储在HDD 154(存储单元11)中(步骤S105)。
接下来，管理服务器10(图像合成单元13)分析多个捕获图像中包括的基准构件60和指纹50的位置关系并且仅选择满足预定捕获条件的图像(步骤S106)。注意，将假定多个图像满足条件并且已被选择来在下面提供描述。当没有图像满足捕获条件时，能够向用户终端20输出错误信息。
接下来，管理服务器10(图像合成单元13)对多个捕获图像中的每个进行重新成形，使得捕获图像内的基准构件60的形状与从前面(正上方)观察的基准构件60的形状匹配(步骤S107)，然后通过重叠多个重新成形校正后的图像来生成合成图像(步骤S108)。
管理服务器10(图像合成单元13)然后将所生成的合成图像与图像ID关联地存储在HDD 154(存储单元11)中(步骤S109)。存储在HDD 154中的指纹图像(合成图像)被用于某个匹配过程等。
如上所述，在示例实施例中的图像管理系统1中，管理服务器10收集从用户终端20获取的多个捕获图像，基于每个捕获图像内的指纹50和基准构件60之间的位置关系来对捕获图像进行重新成形，并且执行合成过程。也就是说，由于能够基于具有已知形状的基准构件60的形状分别高精确地对多个捕获图像进行重新成形，所以结果能够高精确地生成合成图像。
此外，示例实施例中的多个捕获图像是从彼此不同的捕获位置捕获的图像。因此，即使当从特定捕获位置拍摄的捕获图像的质量低时，只要从另一捕获位置捕获的捕获图像的质量高，就能够高精确地生成合成图像。
此外，示例实施例的管理服务器10(图像合成单元13)通过对多个捕获图像中的每个进行重新成形使得捕获图像内的基准构件60的形状与从前面(正上方)观察的基准构件60的形状匹配、然后合成多个捕获图像来生成合成图像。由于在重新成形过程中用作参考的基准构件60的形状是预定义的，所以能够高精确地且高速地执行过程。
此外，示例实施例的管理服务器10(图像合成单元13)通过从多个捕获图像中选择并合成满足预定捕获条件的捕获图像来生成合成图像。因此，由于可以排除合成过程不需要的捕获图像，所以可以高精确地且高速地生成合成图像。
此外，当多个捕获图像分别包括不同的缺失区域时，示例实施例的管理服务器10(图像合成单元13)用另一捕获图像中的对应区域的像素值补充一个捕获图像中的缺失区域。因此，即使当一些捕获图像包括缺失区域时，也可以用其他捕获图像补充缺失区域以高精确地生成合成图像。
此外，尽管已在示例实施例中描述了被摄体是指纹50的情况，但是被摄体可以是人的其他皮肤纹理图案。当被摄体是皮肤纹理图案(皮肤上的图案)时，通过获取在指纹匹配中使用的特征点的一部分由于白化等缺失了的多个缺陷图像，获得了能够获取被假设成被包括在被摄体中的特征点的有利效果。此外，在人的皮肤纹理图案的检查和认证中，由于指纹图像需要为高精度的，所以特别优选将示例实施例的图像管理系统1用于皮肤纹理图案的图像配准。注意，示例实施例中的图像管理系统1的配置在任何对象的图像配准中也是适用的。
[第二示例实施例]
将在下面描述第二示例实施例中的图像管理系统2。注意，为第一示例实施例中的附图中提供的附图标记共有的附图标记指示相同的组件。将省略为第一示例实施例的特征共有的特征的描述，并且将详细地描述不同的特征。
在上述第一示例实施例中，在管理服务器10侧执行图像的校正和合成过程。相比之下，示例实施例与第一示例实施例的不同之处在于，在用户终端20侧执行图像的校正和合成过程之后，合成图像被传送到管理服务器10。
图8是图示示例实施例中的图像管理系统2的功能的框图。如图8所图示的，图2的图像合成单元13被从管理服务器10中移除。替代地，用户终端20还具有图像合成单元25。由于图像合成单元25的功能与第一示例实施例的图像合成单元13的功能相同，所以将省略其详细描述。
接下来，将描述如上所述配置的图像管理系统2中的图像注册过程。图9是图示示例实施例中的图像管理系统2中的过程的示例的顺序图。
首先，用户终端20(图像捕获单元22)基于用户操作启动指纹图像捕获app(步骤S201)，且然后在显示装置256上显示操作引导画面(参见图7)(步骤S202)。
接下来，用户终端20(图像捕获单元22)在基准构件60被放置以便围绕指纹50的情况下从不同的捕获位置同时捕获指纹50和基准构件60的图像(步骤S203)并且获得多个捕获图像。
接下来，用户终端20(图像合成单元25)分析多个捕获图像中包括的基准构件60和指纹50的位置关系并且仅选择满足预定捕获条件的图像(步骤S204)。注意，将假定多个图像满足条件并且已被选择来在下面提供描述。例如，当没有图像满足捕获条件时，能够向显示装置256输出错误信息。
接下来，用户终端20(图像合成单元25)对多个捕获图像中的每个进行重新成形，使得捕获图像内的基准构件60的形状与从前面(正上方)观察的基准构件60的形状匹配(步骤S205)，然后通过重叠多个重新成形校正后的图像来生成合成图像(步骤S206)。
接下来，用户终端20(图像合成单元25)对合成图像执行图像分析以确定在合成图像中是否包括缺失区域(步骤S207)。在本文中，如果用户终端20(图像合成单元25)确定在合成图像中包括缺失区域(步骤S207：是)，则过程进行到步骤S208。
另一方面，如果用户终端20(图像合成单元25)确定在合成图像中不包括缺失区域(步骤S207：否)，则过程进行到步骤S210。
在步骤S208中，用户终端20(通知单元24)将错误信息显示在显示装置256上的操作引导画面中。图10是图示示例实施例中的在用户终端20上显示的操作引导画面的示例的图。在此示例中，图示了指示合成图像的生成失败了并且包括关于如何处理错误的指令信息的消息(“在从捕获图像生成的合成图像中包括缺失区域。为了重新拍摄图片，从以下相机位置完成它。”)被与捕获位置的指令视图一起显示在画面内。
接下来，响应于用户终端20(图像捕获单元22)依照由已引用了操作引导画面中的错误信息的用户执行的操作再次执行指纹50和基准构件60的图像捕获(步骤S209)，过程返回到步骤S205。
在步骤S210中，用户终端20(图像传输单元23)使合成图像和在合成过程中使用的多个捕获图像与公共图像ID相关联并且将合成图像和捕获图像共同地传送到管理服务器10。管理服务器10(图像获取单元12)然后将从用户终端20接收到的合成图像和多个捕获图像存储在HDD 154(存储单元11)中(步骤S211)。
注意，上述过程是仅仅示例，并且可以改变过程的次序或处理方法的一部分。例如，在步骤S207中，即使包括缺失区域，该缺失区域的面积低于某个阈值，过程也可以进行到步骤S210。此外，可以指示用户在除将缺失区域的面积与阈值进行比较的过程以外的过程中选择图像。
如上所述，在示例实施例中的图像管理系统2中，由于在用户终端20侧执行捕获图像的重新成形和合成过程，所以能够获得与第一示例实施例中的效果相同的有利效果。此外，如果在摄影地点未从多个捕获图像生成合适的合成图像，则能够在用户终端20上的画面中显示错误信息。因此可以促使用户在摄影地点处重新拍摄照片，并且即使用户未能拍摄照片，这也使得用户能够迅速地采取动作。
[第三示例实施例]
图11是图示示例实施例中的信息处理设备100的功能的框图。示例实施例中的信息处理设备100包括：获取单元110，该获取单元110获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及合成单元120，该合成单元120基于多个捕获图像中的每个中包括的基准构件的形状从多个捕获图像生成一个合成图像。根据该示例实施例，能够高精度地合成多个图像。
[修改的示例实施例]
尽管已在上面参考示例实施例描述了本公开，但是本公开不限于上述示例实施例。在不脱离本公开的精神的范围内，能够对本公开的配置和细节做出本领域的技术人员可以理解的各种修改。例如，应该理解，其中示例实施例中的任一个的配置的一部分被添加到另一示例性实施例的示例实施例或其中示例实施例中的任一个的配置的一部分用另一示例实施例的一部分替换的示例实施例也是可以应用本公开的示例实施例中的一个。
例如，在上述第一示例实施例中，图像合成单元13通过在对多个捕获图像中的每个进行重新成形使得捕获图像内的基准构件60的形状与从前面观察的基准构件60的形状匹配之后合成多个捕获图像来生成合成图像。然而，图像合成单元13可以通过在对多个捕获图像中的每个进行重新成形使得多个捕获图像分别具有捕获图像内的基准构件60的匹配形状之后合成多个捕获图像来生成合成图像。在这样的情况下，能够在不使用从前面观察的基准构件60的形状作为参考的情况下执行图像重新成形。
此外，尽管已在上述示例实施例中描述了捕获图像是静止图像的情况，但是捕获图像可以是运动图像。在这样的情况下，可以通过从运动图像中包括的帧图像中选择满足预定捕获条件的帧图像来类似地生成最佳合成图像。
此外，尽管已在基准构件60被放置以便围绕指纹50的情况下一起捕获指纹50和基准构件60一次的假定下描述了上述示例实施例，但是可以在画面上电学上提供基准构件60。例如，可以通过使用用户终端20中的陀螺仪传感器、距离测量应用等的功能来生成包括电子刻度和指纹50的捕获图像以依照捕获角度和捕获距离来对与画面中的基准构件60相对应的电子刻度的形状进行重新成形。
此外，尽管已在上述示例实施例中描述了用户终端20向通过捕获同一被摄体所获得的多个捕获图像提供公共图像ID并且传送捕获图像的情况，但是用户终端20可以传送提供有对终端唯一的ID(例如，MAC地址)的捕获图像。通过使终端ID与捕获图像相关联，可以使用终端ID作为签名。此外，在管理服务器10侧，参考提供给捕获图像的终端ID，仅由同一终端拍摄的捕获图像能够被用于图像合成过程。
此外，尽管已在上述第二示例实施例中描述了在用户终端20侧合成捕获图像的情况，但是可以向传送到管理服务器10的捕获图像提供指示捕获图像是在合成中使用的捕获图像的标志。因此，能够在管理服务器10侧容易地识别捕获图像与合成图像之间的关系。
此外，用户终端20可以具有安全模块并且被配置在模块中以向要传送到管理服务器10的图像(捕获图像和合成图像)或要与图像一起同时地传送的数据提供电子签名。通过提供电子签名，可以防止篡改图像它本身或者篡改诸如捕获时间、捕获地点等的图像管理信息。
此外，可以进一步提供管理图像数据之间的关系以便能够追踪合成图像中的每个图像区域基于哪个捕获图像的配置。例如，区块链能够用于根据合成图像追踪原始捕获图像。例如，通过启用在生成一个合成图像中使用的所有捕获图像的追踪，可以在合成图像被用于指纹等的检查时改进图像的证据能力。
此外，示例实施例的范围也包括在存储介质中存储程序的处理方法，该程序使示例实施例中的每个的配置操作以便实现上述示例实施例中的每个的功能，读取作为代码存储在存储介质中的程序，并且在计算机中执行该程序。也就是说，示例实施例中的每个的范围也包括计算机可读存储介质。此外，示例实施例中的每个不仅包括其中存储有上述程序的存储介质，而且还包括程序它本身。
作为存储介质，例如，能够使用软(注册商标)盘、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储卡等。此外，示例实施例中的每个的范围包括在OS上操作以与另一软件或插件板的功能合作执行过程的示例，而不限于通过存储在存储介质中的单独程序来执行过程的示例。
上面公开的示例性实施例的全部或部分能够被描述为但不限于以下附记。
(附记1)
一种信息处理设备，包括：
获取单元，所述获取单元获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及
合成单元，所述合成单元基于所述多个捕获图像中的每个中包括的所述基准构件的形状从所述多个捕获图像生成一个合成图像。
(附记2)
根据附记1所述的信息处理设备，其中，所述多个捕获图像是从彼此不同的捕获位置捕获的图像。
(附记3)
根据附记1或2所述的信息处理设备，其中，所述被摄体是人的皮肤纹理图案。
(附记4)
根据附记1至3中的任一项所述的信息处理设备，其中，所述合成单元通过在对所述多个捕获图像中的每个进行重新成形使得所述多个捕获图像分别具有所述捕获图像内的所述基准构件的匹配形状之后合成所述多个捕获图像来生成所述合成图像。
(附记5)
根据附记1至4中的任一项所述的信息处理设备，其中，所述合成单元通过在对所述多个捕获图像中的每个进行重新成形使得所述捕获图像中的每个内的所述基准构件的形状与从前面观察的所述基准构件的形状匹配之后合成所述多个捕获图像来生成所述合成图像。
(附记6)
根据附记1至5中的任一项所述的信息处理设备，其中，所述合成单元通过从所述多个捕获图像中选择并合成满足预定捕获条件的捕获图像来生成所述合成图像。
(附记7)
根据附记6所述的信息处理设备，其中，所述捕获条件包括照明光的反射区域和捕获位置中的至少一项。
(附记8)
根据附记1至7中的任一项所述的信息处理设备，其中，当所述多个捕获图像分别包括不同的缺失区域时，所述合成单元用所述捕获图像中的另一捕获图像中的对应区域的像素值补充所述捕获图像中的一个捕获图像中的所述缺失区域。
(附记9)
一种终端设备，包括：
图像捕获装置，所述图像捕获装置捕获多个捕获图像；以及
根据附记1至8中的任一项所述的信息处理设备。
(附记10)
根据附记9所述的终端设备还包括通知单元，所述通知单元在所述捕获图像的捕获期间输出与捕获条件有关的引导消息。
(附记11)
一种信息处理系统，包括：
根据附记8或9所述的终端设备；以及
管理服务器，所述管理服务器收集由所述终端设备获取的所述合成图像，
其中，所述终端设备还包括
传输单元，所述传输单元将所述合成图像传送到所述管理服务器。
(附记12)
一种信息处理系统，包括：
终端设备；以及
管理服务器，所述管理服务器包括根据附记1至8中的任一项所述的信息处理设备，
其中，所述终端设备包括
图像捕获装置，所述图像捕获装置捕获所述多个捕获图像，以及
传输单元，所述传输单元将所述多个捕获图像传送到所述管理服务器。
(附记13)
一种信息处理方法，包括：
获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及
基于所述捕获图像中包括的所述基准构件的形状从所述多个捕获图像生成一个合成图像。
(附记14)
一种存储程序的存储介质，所述程序使计算机执行：
获取多个捕获图像，每个捕获图像包括具有已知形状的基准构件和被摄体；以及
基于所述捕获图像中包括的所述基准构件的形状从所述多个捕获图像生成一个合成图像。
本申请基于并要求于2018年12月26日提交的日本专利申请No.2018-242029的优先权，其公开内容通过引用整体地并入本文。
[附图标记列表]
1 图像管理系统
10 管理服务器
11 存储单元
12 图像获取单元
13 图像合成单元
20 用户终端
21 存储单元
22 图像获取单元
23 图像传输单元
24 通知单位
25 图像合成单元
30 网络
40 基站
50 指纹
60 基准构件
100 信息处理设备
110 获取单元
120 合成单元
151、251 CPU
152、252 存储器
153、253 只读存储器
154 HDD
155、255 通讯I/F
156、256 显示装置
157、257 输入装置
158、258 总线
254 闪速存储器
259 图像捕获装置

Claims (9)

1.一种信息处理设备，包括：
获取单元，所述获取单元获取包括具有已知形状的基准构件和被摄体的多个捕获图像；以及
合成单元，所述合成单元基于所述多个捕获图像中的每个捕获图像中包括的所述基准构件的形状，从所述多个捕获图像生成一个合成图像，
其中，所述被摄体是人的皮肤纹理图案，
其中，所述基准构件是围绕所述被摄体的刻度构件。
2.根据权利要求1所述的信息处理设备，其中，
所述多个捕获图像是从彼此不同的捕获位置捕获的图像。
3.根据权利要求1或2所述的信息处理设备，其中，
所述合成单元通过在对所述多个捕获图像中的每个捕获图像进行重新成形之后合成所述多个捕获图像来生成所述合成图像，使得所述多个捕获图像分别具有在所述捕获图像内的所述基准构件的匹配形状。
4.根据权利要求1或2所述的信息处理设备，其中，
所述合成单元通过在对所述多个捕获图像中的每个捕获图像进行重新成形之后合成所述多个捕获图像来生成所述合成图像，使得每个所述捕获图像内的所述基准构件的形状与从前面观察的所述基准构件的形状匹配。
5.根据权利要求1或2所述的信息处理设备，其中，
所述合成单元通过在所述多个捕获图像当中选择并且合成满足预定捕获条件的捕获图像来生成所述合成图像。
6.根据权利要求5所述的信息处理设备，其中，
所述捕获条件包括照明光的反射区域以及捕获位置中的至少一项。
7.根据权利要求1或2所述的信息处理设备，其中，
当所述多个捕获图像分别包括不同的缺失区域时，所述合成单元用所述捕获图像中的另一捕获图像中的对应区域的像素值来补充所述捕获图像中的一个捕获图像中的所述缺失区域。
8.一种信息处理方法，包括：
获取包括具有已知形状的基准构件和被摄体的多个捕获图像；以及
基于所述捕获图像中包括的所述基准构件的形状，从所述多个捕获图像生成一个合成图像，
其中，所述被摄体是人的皮肤纹理图案，
其中，所述基准构件是围绕所述被摄体的刻度构件。
9.一种存储有程序的存储介质，所述程序使计算机执行：
获取包括具有已知形状的基准构件和被摄体的多个捕获图像；以及
基于所述捕获图像中包括的所述基准构件的形状，从所述多个捕获图像生成一个合成图像，
其中，所述被摄体是人的皮肤纹理图案，
其中，所述基准构件是围绕所述被摄体的刻度构件。
CN201980092581.7A 2018-12-26 2019-12-24 信息处理设备、信息处理方法和存储介质 Active CN113454978B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-242029 2018-12-26
JP2018242029 2018-12-26
PCT/JP2019/050709 WO2020138120A1 (ja) 2018-12-26 2019-12-24 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
CN113454978A CN113454978A (zh) 2021-09-28
CN113454978B true CN113454978B (zh) 2023-08-18

Family

ID=71126447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980092581.7A Active CN113454978B (zh) 2018-12-26 2019-12-24 信息处理设备、信息处理方法和存储介质

Country Status (5)

Country Link
US (1) US20220075982A1 (zh)
EP (1) EP3905657A4 (zh)
JP (1) JP7248039B2 (zh)
CN (1) CN113454978B (zh)
WO (1) WO2020138120A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114925B (zh) * 2020-09-25 2021-09-21 北京字跳网络技术有限公司 用于用户引导的方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170227A (ja) * 1996-12-12 1998-06-26 Canon Inc 表示装置
CN101751672A (zh) * 2008-11-28 2010-06-23 索尼株式会社 图像处理系统
JP2011070579A (ja) * 2009-09-28 2011-04-07 Dainippon Printing Co Ltd 撮影画像表示装置
JP2013084130A (ja) * 2011-10-11 2013-05-09 Fujitsu Ltd 画像認識システムおよび画像認識方法
KR20130084413A (ko) * 2012-01-17 2013-07-25 엘지이노텍 주식회사 지문 인식 장치 및 방법
JP2016152605A (ja) * 2015-02-19 2016-08-22 大日本印刷株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018731A (ja) * 2004-07-05 2006-01-19 Nec Corp 指紋画像合成装置及び方法並びに指紋画像合成プログラム
US20060023921A1 (en) * 2004-07-27 2006-02-02 Sanyo Electric Co., Ltd. Authentication apparatus, verification method and verification apparatus
US7899216B2 (en) * 2005-03-18 2011-03-01 Sanyo Electric Co., Ltd. Biometric information processing apparatus and biometric information processing method
JP2010072813A (ja) 2008-09-17 2010-04-02 Fujitsu Ltd 画像処理装置および画像処理プログラム
JP5369873B2 (ja) * 2009-04-27 2013-12-18 富士通株式会社 判定プログラムおよびキャリブレーション装置
JP5699845B2 (ja) * 2011-07-29 2015-04-15 富士通株式会社 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
AU2015317344B2 (en) * 2014-09-18 2021-04-08 Sciometrics Llc Mobility empowered biometric appliance a tool for real-time verification of identity through fingerprints
US10043050B2 (en) * 2016-03-07 2018-08-07 Microsoft Technology Licensing, Llc Image sensing with a display
KR101698529B1 (ko) * 2016-04-14 2017-02-01 에스투원 주식회사 휴대용 과학 수사 장치 및 그의 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170227A (ja) * 1996-12-12 1998-06-26 Canon Inc 表示装置
CN101751672A (zh) * 2008-11-28 2010-06-23 索尼株式会社 图像处理系统
JP2011070579A (ja) * 2009-09-28 2011-04-07 Dainippon Printing Co Ltd 撮影画像表示装置
JP2013084130A (ja) * 2011-10-11 2013-05-09 Fujitsu Ltd 画像認識システムおよび画像認識方法
KR20130084413A (ko) * 2012-01-17 2013-07-25 엘지이노텍 주식회사 지문 인식 장치 및 방법
JP2016152605A (ja) * 2015-02-19 2016-08-22 大日本印刷株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
EP3905657A1 (en) 2021-11-03
CN113454978A (zh) 2021-09-28
EP3905657A4 (en) 2022-01-26
JPWO2020138120A1 (ja) 2021-10-28
US20220075982A1 (en) 2022-03-10
JP7248039B2 (ja) 2023-03-29
WO2020138120A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
JP4019063B2 (ja) 光学端末装置、画像処理方法およびシステム
US9292096B2 (en) Conference projection system with gesture-based image transmitting unit
JPWO2010050206A1 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
US11250120B2 (en) Authentication method, authentication system and authentication apparatus
EP2809062B1 (en) Image processor, image processing method and program, and recording medium
JPWO2012144496A1 (ja) １０指指紋カード入力装置、１０指指紋カード入力方法、及び記憶媒体
JP2021144752A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
CN113454978B (zh) 信息处理设备、信息处理方法和存储介质
CN110705970A (zh) 远程签名方法及装置
JP2008209306A (ja) カメラ
JP2006011935A (ja) 個人情報管理装置，個人情報ファイル作成方法，および個人情報ファイル検索方法
JP2015141215A (ja) ヘッドマウントディスプレイ装置
CN107844723A (zh) 票据处理装置、票据处理方法以及记录介质
JP2014063300A (ja) 文字認識装置及び文字認識処理方法並びにプログラム
KR20110050834A (ko) 휴대용 단말기에서 영상 정합 방법 및 장치
JP6705984B2 (ja) 情報処理装置と、その処理方法及びプログラム
JP2020170273A (ja) 文字認識システム、文字認識サーバープログラム及び文字認識クライアントプログラム
JP6712861B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019121987A (ja) 情報処理装置、情報処理方法およびプログラム
JP2020091748A (ja) 端末装置、プログラム、画像管理方法
US20080309658A1 (en) Image processing apparatus, image processing method, and image processing program
US11341701B1 (en) Method and apparatus for producing a composite image of a suspect
JP7256512B2 (ja) 個人識別システム、個人識別方法及びプログラム
JP2010218041A (ja) 携帯式文字認識装置、文字認識プログラム及び文字認識方法
JP2008014825A (ja) 測定方法及び測定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant