CN111052185A - 影像配准方法及其装置 - Google Patents

影像配准方法及其装置 Download PDF

Info

Publication number
CN111052185A
CN111052185A CN201880056637.9A CN201880056637A CN111052185A CN 111052185 A CN111052185 A CN 111052185A CN 201880056637 A CN201880056637 A CN 201880056637A CN 111052185 A CN111052185 A CN 111052185A
Authority
CN
China
Prior art keywords
human body
target
image
determining
target human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880056637.9A
Other languages
English (en)
Inventor
崔钟豪
朴成进
李动濬
李知崙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kitty Planet
Original Assignee
Kitty Planet
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kitty Planet filed Critical Kitty Planet
Publication of CN111052185A publication Critical patent/CN111052185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及无需用户输入自动配准影像的方法，其中，根据本发明一个实施例的影像配准方法包括以下步骤：在输入影像中识别至少一个人体以上的步骤；在识别到的人体中确定目标人体的步骤；以目标人体为准对所述输入影像实施影像配准，但所述影像配准无需用户输入可以实施所述影像配准的步骤。

Description

影像配准方法及其装置
技术区域
本发明涉及一种影像配准方法及其装置，更详细地说，提供在输入影像的至少一个人体中确定目标人体，并基于所述目标人体对所述输入影像实施自动影像配准的方法及实施该方法的装置。
背景技术
随着影像处理技术的高速发展，基于影像处理技术的智能装置或智能系统在诸多区域得到了构建和应用。例如，利用影像处理技术在监控影像中搭建了能够检测出目标客体并探测各种活动的智能影像监控系统，利用于各种环境的监控区域。再举一个例子，目前利用前置摄像头拍摄周边影像，并基于拍摄影像的分析结果提供各种内容的智能镜件(smart mirror)设置在各种场地并被利用。
上述智能装置及其智能系统共同隐含的问题在于，针对目标客体无法提供自动配准功能。例如，管理员在智能影像分析系统为集中监控以目标客体为准的影像，需要在监控装置(closed circuit television)拍摄的原始影像中指定目标客体，并将包含指定目标客体的影像缩放(zoom)的一系列过程。由于上述过程需要由管理员直接完成，给用户带来不便并且无法有效利用系统。再举一个例子，在智能镜件中如果前方有多数人，智能镜件需要在多数人中选择某个人作为目标对象并提供相关内容。在这种情况下，如果同时提供多数人被拍的影像和目标人体被拍的影像，只能降低用户的满意度。
因此，为了解决上述问题，应考虑根据装置和系统的目的等决定的各种标准，在输入影像中确定目标客体，并采用基于目标客体的自动配准影像的方法。
发明内容
要解决的技术问题
本发明要解决的技术问题是，针对输入影像提供一种基于目标客体的自动影像配准方法及实施该方法的装置。
本发明所要解决的其他技术问题是，提供在输入影像至少一个以上人体中确定目标人体，并基于所述目标人体对所述输入影像进行自动影像配准的方法及实施该方法的装置。
本发明要解决的另一个技术问题是，提供在输入影像至少一个以上人体中确定目标人体，并为目标人体配置个性化服务画面的方法及其实施该方法的装置。
本发明解决的技术问题不限于以上所述的技术问题，本区域所属技术区域的普通技术人员可以通过下列内容明确理解在本发明中未提及的其他技术问题。
技术解决手段
为了解决上述技术问题，本发明的一实施例提供的影像配准方法包括如下步骤：影像配准装置在输入影像识别至少一个以上人体的步骤；所述影像配准装置在所述人体中确定目标人体的步骤；所述影像配准装置对所述输入影像实施以所述目标人体为准的影像配准，其中所述影像配准装置无需影像配准装置用户来输入也可以实施所述影像配准的步骤。
在一个实施例中，确定所述目标人体的步骤包括还包括如下步骤：所述识别到的各个人体的人口统计学特征分析步骤；利用所述人口统计学特征分析确定具有符合所述人口统计学信息特征的目标人体的步骤。
在一个实施例中，在所述识别到的人体中选择面部区域的步骤；在所述识别到的人体中将被选的面部区域最大的人体确定为目标人体的步骤。
在一个实施例中，所述确定目标人体的步骤包括如下步骤：在识别到的人体各个位置上检测到指定形象的客体的步骤；第一人体的指定位置上检测到所述指定形象的客体时将所述第一人体确定为所述目标人体的步骤。
在一个实施例中，确定所述目标人体的步骤包括如下步骤：所述识别到的人体各个嘴边位置上检测到具有牙刷形象的客体步骤；第一人体的嘴边位置上检测到所述牙刷形象的客体时，将所述第一人体确定为所述目标人体的步骤。
在一个实施例中，确定所述目标人体的步骤包括如下步骤：识别语音的步骤；所述识别到的语音所对应的文本在第一人体外围线内部区域里检测到的步骤；将所述第一人体确定为所述目标人体的步骤。
在一个实施例中，所述确定目标人体的步骤可以包括通过基于情境(context-based)的目标人体判定逻辑，在识别到的各个人体中确定符合现状的目标人体的步骤。
为解决所述技术问题的另一个实施例的影像配准装置包括一个或多个处理器；网络接口；加载(Load)由上述处理器实施的计算机程序的存储器以及存储上述计算机程序的存储设备；所述计算机程序可以包括在输入影像识别至少一个或多数人体的步骤；在所述识别到的人体中确定目标人体的操作步骤以及对所述输入影像实施以所述目标人体为准的影像配准而无需用户输入所述影像配准装置可以实施所述影像配准的操作步骤。
为解决所述技术问题的另一个实施例的计算机程序，结合计算装置为实施在输入影像中识别至少一个人体的步骤；在所述识别到的人体中确定目标人体的步骤以及所述输入影像实施以目标人体为准的影像配准但无需用户输入所述影像配准装置实施所述影像配准的操作步骤，可以被储存在记录媒体上。
为解决所述技术问题的另一个实施例的智能镜件可以包括产生输入影像的前置摄像头传感器；在所述输入影像中至少识别一个人体并在所述识别到的人体中确定目标人体以及用户无需输入所述影像配准装置可以实施所述影像配准的操作器；显示所述影像配准实施结果影像的显示屏。
为解决所述技术问题的另一个实施例的提供目标用户服务画面的方法可以包括如下步骤：提供服务的装置在输入影像中识别至少一个人体的步骤；所述提供服务的装置在所述识别到的人体中确定目标人体的步骤；以及所述提供服务的装置在所述输入影像中构成和显示目标人体的服务画面，而且用户无需为所述服务提供画面的构成输入任意东西，即可构成和显示所述服务提供画面的步骤。
为解决所述技术问题的根据另一个实施例的提供目标用户服务画面的方法可以包括如下步骤：提供服务的装置在输入影像中识别至少一个人体的步骤；所述提供服务的装置在所述识别到的人体的生物信号传感器接收生物数据的步骤；所述提供服务的装置利用所述接收的生物数据在识别到的人体中确定目标人体的步骤；以及所述提供服务的装置在所述输入影像中构成和显示目标人体的服务画面，而且用户无需为所述服务提供画面的构成输入任意东西，即可构成和显示所述服务提供画面的步骤。
发明效果
本发明可以按照一定标准，在输入影像中识别出的至少一个人体中确定目标人体，所述目标人体可以基于所述标准自动实施影像配准功能。上述的自动影像配准功能可以应用于多个区域，增加用户集中力并给用户带来方便。
例如在智能镜件中实施自动影像配准时可以增加用户集中力。另一个例子中，在智能影像监控系统中实施自动影像配准时，可以通过统一管制装置给确认监控影像的管理员带来方便。
不仅如此，本发明还可以在输入影像识别到的人体中，考虑人口统计学特征信息、携带物品信息、情况信息等确定目标人体。通过这种方式可以以较高的精确度来确定目标人体。
本发明可以提供一种针对目标人体配置的个性化服务画面。由此，可以提高用户的满意度。
本发明的效果不限于以上所述的效果，本区域所属技术区域的技术人员可以通过如下记载的内容明确理解本发明未提及的其他技术效果。
附图说明
图1是根据本发明第一实施例的影像配准系统的结构图。
图2a和图2b是本发明的若干实施例中可以参考的影像配准示例图。
图3是根据上述第一实施例影像配准系统的一个组成部分智能镜件200的顺序图。
图4是根据本发明的第二实施例的影像配准系统的结构图。
图5a和图5b是可以在本发明的几个实施例中参考的影像配准示例图。
图6是影像配准装置600的硬件构成图。
图7是根据本发明的实施例的影像配准方法的流程图。
图8至图14是示出根据本发明的若干实施例的目标人体确定方法的视图。
图15和图16是示出根据本发明若干实施例的影像配准所实施的结果影像显示方法的视图。
图17至图19b是根据本发明的第一实施例的用户想要提供的目标画面构成方法的视图。
图20是根据本发明的第二实施例的用户想要提供的目标画面构成方法的视图。
具体实施方式
在下文中将参考附图详细描述本发明的优选实施例。通过下面的附图和详细描述的实施例可以明确本发明的优点和特征以及实现的方法。然而，本发明不限于以下公开的实施例，而可以以各种不同的形式体现，这些实施例只是为了完善本发明的实施，并且提供给本区域所属技术区域的普通技术人员其发明的范畴，而本发明仅由权利要求的范围来限定。贯穿全文，相同的参考符号指相同的构成因素。
除非另有指明，本发明中使用的所有术语(包括技术术语和科学术语)可以用作本区域所属技术区域的普通技术人员通常可以理解的含义。此外，除非另有指明，不会理想地或过度地解释常用词典中定义的术语。本文所使用的术语是为了描述特定实施例的目的，而不是为限定本发明。除非另有指明，在本发明中的单数形式也包含复数形式。
本发明中提及“包括(comprises)”以及/或“包含(comprising)”的组件、步骤、操作以及/或元件不排除存在或增加一个或多个其他组件、步骤、操作以及/或元件。
在描述本发明之前，将阐明本文使用的一些术语。
在本发明中的“影像配准(image alignment)”是指按照规定标准对第一影像进行旋转、平移(shifting)、自动抓拍(auto focusing)、缩放(zoom)、剪裁(Crop)、跑焦(outfocusing)等影像处理获得第二影像的过程。例如，所述影像配准可以是在第一影像中所包含的至少一个人体中以符合所述标准的目标人体为准实施所述影像处理来获得第二影像。在以下内容中，为方便说明将所述第一影像称为“输入影像”，将上述第二影像称为“影像配准”或“结果影像”。
以下对于本发明的若干实施例，将参考附图进行详细说明。
首先参考图1至图3，对根据本发明第一实施例的影像配准系统进行说明。
图1是根据本发明的第一实施例的影像配准系统的结构图。具体来说，图1是根据上述第一实施例的影像配准系统，示出智能镜件系统。
参考图1，所述智能镜件系统可以被配置为包括智能镜件200和服务提供服务器(300)。但这只是为了达到本发明的目的的实施例，可以根据需要增加或删除一些组件。还有图1中的智能镜件系统的各个组成部分示出功能上的区分，请注意至少有一个组件在实际物理环境中可以是以相互整合的形式体现。下面对上述智能镜件系统的各个组成部分进行说明。
在上述智能镜件系统中，智能镜件200是将具有半透明功能和反射功能的半反射镜(half mirror)放在前面，并在其后方配置显示屏的计算装置，是一种在显示屏上显示影像时通过半反射镜显示在外部，如果没有影像显示时则提供镜子的功能。
根据本发明的实施例，智能镜件200通过前置摄像头传感器至少拍摄一个人体；生成输入影像；在所述至少一个人体中确定目标人体；基于所述目标人体对所述输入影像进行影像配准。仅限于这种实施例，智能镜件200可以被命名为“影像配准装置”。在以下情况下，为方便理解，我们假设输入影像中所包含的人或事物是多数。然而，本发明的范围不限于此。也就是说，即使输入影像中只出现一个第一人体，也可以根据上述第一人体是否符合规定的标准来决定上述第一人体是否是目标人体。
举个例子，如图2a和图2b所示，智能镜件200在输入影像10a中包含的多数人中确定符合规定标准的目标人体11；以目标人体11为准，可以以多种方式显示多种方式的影像配准影像10b。图2b示出以目标人体11为准进行剪裁、缩放等影像处理，但这只是影像配准的一个例子，所述影像配准还可以通过旋转、平移、跑焦等多种影像处理方法进行。根据本实施例，用户可以以确定的目标人体为准，通过智能镜件200提供焦点影像，增加用户的集中力。对本实施例的详细说明将参考图7至图16，对此，在后面进行说明。
根据本发明的实施例，智能镜件200可以针对被确定为目标人体的对象显示服务提供画面。例如，如果目标人体是拿着牙刷刷牙的儿童，智能镜件200可以配置提供刷牙指引内容的画面进行显示。在此，上述刷牙指南内容可以是从存储在智能镜件200中的内容或服务提供服务器(300)接收到的内容。仅限于这种实施例，智能镜件200可以被命名为“提供服务的装置”。根据本实施例，为用户提供裁剪过的服务画面，可以提高用户的服务满意度。本实施例的详细说明可以通过图17至图20，对此，在后面进行说明。
根据本发明的实施例，智能镜件200通过对输入影像的影像分析提取各种元数据，确定以所述元数据为基础的目标人体。此时，上述元数据有很多种，例如，它可以是在输入影像中检测出的人口统计学特征信息、人携带物品的信息、情况信息等。根据实施例，上述影像分析由提供服务的服务器300进行，智能镜件200也可以从提供服务的服务器300获取影像分析中提取的元数据结果。有关本实施例的详细说明请参考图8至图14，对此，在后面进行说明。
在上述智能镜件系统中，提供服务的服务器300是以智能镜件200为基础提供各种服务的计算装置。在此，所述计算装置可以是笔记本电脑，台式电脑，便携式电脑等，但不限于此，它还可包括具有计算功能和通信功能的所有类型的装置。
提供服务的服务器300可以对从智能镜件200获取的输入影像进行影像分析，或者为目标人体提供个性化内容。例如，如果目标人体是拿着牙刷的儿童，提供服务的服务器300可以提供刷牙的指引内容。再举一个例子，如果目标人体是给提供美容服务的女性，提供服务的服务器300可以通过智能镜件200提供各种发型内容。
图1中图示的智能镜件系统的各个组成部分可以通过网络进行通信。在这里，所述网络可以是局域网(Local Area Network；LAN)、广域网(Wide Area Network)、移动通信网(mobile radio communication network)、无线宽带接入服务(Wibro，WirelessBroadband Internet)等所有种类的有无线网络。
在如下内容中将通过智能镜件的一个组件智能镜200的构成和操作来进一步说明。
图3是示出智能镜200的示例性框图。
参考图3，智能镜200可以由传感器单元210、存储单元230、通信单元250、显示器件270和控制单元290构成。然而，图3仅示出了与本发明的实施例有关的组件。因此，本区域所属技术区域的普通技术人员可以得知除了图3所示的组件之外，还可以进一步包括其他通用组件。
各个构成元件，传感器单元210位于智能镜200的前置部分，并且可以包括拍摄周围环境的相机传感器以及/或检测到物体接近的接近传感器。例如，所述相机传感器在所述接近传感器检测到一些物体接近的情况下可以由控制单元290控制。
存储单元230可以非临时地存储用于实施智能镜200各种操作的一个或多个计算机程序。存储单元230可以由只读存储器(ROM)、可擦除可编程只读存储器(PROM)、电可擦除可编程只读存储器(EPEROM)、快闪存储器等非易失性存储器、硬盘、可移动磁盘或在本区域所属技术区域众所周知的任意形式的计算机读取的记录媒体构成。
通信部250与智能镜件系统的其他组件进行数据通信。为此，通信部250可以具备有线网络模块、移动通信模块或无线通信模块。
显示器件270显示基于目标人体进行影像配准的结果。不仅如此，显示器件270还显示由目标人体构成的提供服务的画面。为此，显示器件270可以由包括LCD面板等该技术区域广为人知的显示屏模块。
此外，显示器件270可以位于前置部分，包括反射外部光线照亮物体的镜子功能的镜件。所述镜件还可以提供从所述显示屏获取影像信号并显示在外部的影像显示功能。例如，所述镜件可以是半反射镜(half mirror)。半反射镜在显示屏模块关灯之后做到镜子的反射作用，在显示屏模块开灯时透过显示屏模块的影像，显示在外部显示屏上。
所述显示屏模块可以是与所述镜件相同的尺寸，但也可以比镜件更小，以便光线透过镜件的部分区域。后者的情况，镜件可以分为只提供镜子功能的第一镜件区域和提高镜子功能和影像显示功能的第二镜件区域。
控制部290控制智能镜件200的各个构成的整体运作。控制部可以由中央处理器CPU(Central Processing Unit),微处理器MPU(Micro Processor Unit),微控制单元MCU(Micro Controller Unit)或任意在本区域所属技术区域众所周知的处理器。此外，控制部290为实施本发明实施例的方法，可以对至少一个应用程序或程序进行演算。
具体来说，控制部290为了在输入影像里确定目标人体，以目标人体为准进行影像配准并显示配准的影像，可以根据本发明的实施例进行影像配准。所述影像配准方法的详细说明，请参考图7至图16，对此，在后面进行说明。
控制部290为了在输入影像里确定目标人体，并以目标人体为准构成提供服务的画面，可以实施本发明的实施例的目标用户的提供服务画面的构成方法。所述影像配准方法的详细说明，请参考图7至图20，对此，在后面进行说明。
图3的各组件可以意味着软件(Software)或FPGA(Field Programmable GateArray)以及ASIC(Application-Specific Integrated Circuit)等硬件(Hardware)。但这并不意味着这些组件仅限于软件或硬件，它可以位于可寻址(Addressing)存储器，也可以实施一个或多个处理器。在所述组件里提供的功能可以体现通过更为细分的组件来实现，也可以由多个组件合在一起执行特定功能的一个组件来实现。
到目前为止，参考图1到图3，对根据本发明的第一实施例的影像配准系统--智能镜件系统进行了说明。其次，参考图4至图6，对根据本发明的第二实施例的影像配准系统进行说明。
图4是根据本发明的第二实施例的影像配准系统的结构图。具体来说，图4是根据第二实施例的影像配准系统，示出了智能影像监控系统。
参考图4，所述智能影像监控系统可以由多个影像拍摄设备400a至400n、智能影像分析设备500和影像配准设备600构成。然而，这仅仅是为实现本发明目的的优选实施例，当然也可以根据需要添加或删除一些组件。另外，图4中所示的智能影像监控系统的各组件显示各区分功能的因素，请注意至少一个组件在实际物理环境中以相互整合的形式体现。下面来说明所述智能影像监控系统的各个组件。
在所述智能影像监控系统中，影像拍摄设备400a至400ri是用于通过拍摄指定的监控区域来生成监控影像的设备。影像拍摄设备400a至400ri将所生成的监控影像传送到智能影像分析设备500。影像拍摄设备400a至400ri可以通过诸如闭路电视监控系统来实现，但不限于此。
在所述智能影像监控系统中，智能影像分析设备500基于影像拍摄设备400a至400ri提供的监控影像实施智能影像分析。例如，智能影像分析设备500可以通过对监控影像的分析来检测目标客体，识别和跟踪所述目标客体等。
此外，智能影像分析装置500可以通过上述目标客体的检测、识别、跟踪等过程探测由管理员设置的各种活动。例如，智能影像分析装置500可以探测到违反交通法规、通缉犯识别、走失儿童的识别等各种活动。
在上述智能影像监控系统中，影像配准装置600根据影像拍摄装置400a至400ri提供的监控作为输入影像，配准并显示影像的计算装置。计算装置可以是笔记本电脑、台式电脑、便携式电脑等，但不限于此，它还可包括具有计算功能和通信功能的所有类型的设备。
在所述智能影像监控系统中，影像配准装置600可以通过统一管制装置来实现。此时影像配准装置600可以向管理员提供包括设置探测目标活动的用户接口；智能影像分析装置500分析的结果以及影像拍摄装置400a至400ri获取的监控影像等。
根据本发明的实施例，影像配准装置600可以从监控影像中识别到的至少一个人体中确定目标人体，并基于上述目标人体对上述监控影像进行影像配准。
例如，如图5a和图5b所示，影像配准装置600可在包含多数人的监控影像20a中确定符合所述标准的目标人体21和23，以目标人体21和23为准，可以播放配准影像的影像20b。图5a中所示的是，在频繁发生儿童绑架事故的监控区域中，将成年男性在儿童周围出现一段时间设定为探测活动对象时，满足上述条件的儿童23和成年男性21被确定为目标人体的例子。不仅如此，图5b所示的是以被确定为目标人体的儿童23和成年男性21为准，在分割的区域各显示影像配准的影像20b与监控影像20a。如上所述，影像配准装置600可以根据特定情况确定目标人体，并且可以自动生成配准影像。
关于影像配准装置600配准影像的方法和播放配准影像的方法，请参考图7及图16，对此，在后面详细说明。
图4中图示的智能型影像监控系统的各组成部分可以通过网络进行通信。在此，上述网络可以通过局域网(Local Area Network；LAN)、广域网(Wide Area Network：WAN)、移动通信网(mobile radio communication network)、无线宽带接入服务(Wibro，WirelessBroadband Internet)等所有种类的有/无线网络来实现。
以下参考图6，对上述作为智能型影像监控系统的一个组成部分的影像配准装置600的构成及动作进行说明。
图6是影像配准装置600的硬件构成图。
参考图6，影像配准装置600包括一个以上的处理器610、总线630、网络接口640、显示屏650、加载(Load)由上述处理器实施的计算机程序的存储器620以及存储上述计算机程序661的存储设备660。只不过图6中仅显示与本发明的实施例相关的组件。因此，如果是本区域所属技术区域的普通技术人员，可以得知除图6的组件之外，还可以包括其他通用的组件。
处理器610控制影像配准装置600的各组件的整体操作。处理器610可以包含CPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro ControllerUnit)、GPU(Graphic Processing Unit)或本发明技术区域的通用的任意形态的处理器。此外，处理器610可以对根据本发明实施例的方法的至少一个应用程序或程序进行运算。影像配准装置600可以具备一个以上的处理器。
存储器620存储各种数据、命令和/或信息。存储器620为实施根据本发明的实施例的影像配准方法，从存储设备660可以加载一个以上程序661。图6中显示了存储器620的示例内存(RAM)。
总线630在影像配准装置600的组件之间提供通信功能。总线630以地址总线(Address Bus)、数据总线(DataBus)及控制总线(Control Bus)等多种形式的总线体现。
网络接口640支持影像配准装置600的有线和无线网络通信。不仅如此，网络接口640还可以支持除网络通信以外的各种通信方式。为此，网络接口640可以包括本区域所属技术区域众所周知的通信模块。
存储设备660可以非临时性地存储上述一个以上程序661。图6示出影像配准软件661作为上述一个以上程序661的例子。
存储设备660可以由只读存储器(ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、快闪存储器等非易失性存储器、硬盘、可移动磁盘或在本区域所属技术区域众所周知的任意形式的计算机读取的记录媒体构成。
影像配准软件661可以执行根据本发明实施例的影像配准方法。例如，影像配准软件661被加载到存储器620中，由一个以上处理器610在输入影像中识别至少一个人体，对于上述识别到的人体中确定目标人体以及无需用户输入可以通过上述影像配准装置配准影像。
作为参考，根据本发明实施例的提供服务装置的硬件构成也可以用图6所示的组件来实施。此时，所述提供服务装置存储设备可以存储运行目标用户提供画面构成方法的计算机程序，所述计算机程序加载到存储器，通过处理器运行。
到目前为止，参考图4至图6，对本发明的第二实施例的影像配准系统——智能影像监控系统进行了说明。下面，参考图7至图16，将对本发明实施例的影像配准方法进行详细说明。
在下面，根据在后面将要说明的本发明实施例的影像配准方法的各个步骤可以通过计算装置来实施。例如，上述计算装置可以是影像配准装置200和600。然而，为了方便理解，上述影像配准方法所包含的各个阶段的动作主体，可以被省略记载。不仅如此，影像配准方法的各个步骤通过影像配准软件处理器实施，可通过影像配准装置200和600中的操作来体现。
图7是根据本发明实施例的影像配准方法的流程图。但是，这只是为了达到本发明的的的一个优选的实施例，当然可以根据需要增加或删除某些步骤。下面为了方便理解，假设在输入影像中包含的人为多数人进行说明。但如前所述，本发明的范围不仅限于此。
参考图7，首先在输入影像中识别出多数人S110。为了识别上述多数人，可以利用本区域所属技术区域中众所周知的至少一个影像处理算法或影像分析算法。
其次，在所述识别到的多数人中确定目标人体S130。上述目标人体可以根据诸如识别到的人的人口统计学特征信息、识别到的人所持有的物体信息、情况信息中至少一个信息来确定。对于本阶段S130的详细说明，将参考图8至图14进行详细说明。
再次，用户无需输入可以以目标人体为准进行影像配准S150。如前所述，上述影像配准可利用旋转、平移(shifting)、剪裁(Crop)、变焦等多种影像处理方法来完成。
最后，播放S170影像配准的结果影像。播放方式可根据实施例不同。有关本阶段S170的详细说明，将参考图15及图16进行详细说明。
到目前为止，对根据本发明实施例的影像配准方法参考图7进行了说明。根据上述方法，可以根据规定标准确定目标人体，并自动胚珠以目标人体为准的影像。因此，增强了用户对影像结果的吸引力，也不用用户去介入，给用户带来方便。
下面对于在步骤S130中实施的确定目标人体的方法，参考图8至图14进行详细说明。
在一个实施例中，可以根据识别到的人的人口统计学特征信息确定目标人体。即，在输入影像识别到的多数人中，将具有符合已指定的人口统计学信息特征的人确定为目标人体。此时，人口统计学特征信息可以包括诸如性别、年龄、国籍和民族等信息。
为方便理解，将参考图8，说明以人口统计学特征信息为准确定目标人体的具体例子。
参考图8，对被认识的多数人中对第一人体的年龄进行了分析，所述第一人体的年龄可以被确定为与已指定为父母年龄段的年龄S131，在上述识别到的多数人中，对第二人体的年龄进行分析，所述第二人体的年龄可以被确定为与已指定为儿童年龄段的年龄S133。此时，上述第二人体可以被确定为目标人体S135。即，输入影像中包含父母和儿童时，上述儿童可以确定为目标人体。
在一个实施例中，如在图9a和图9b中所示，可以根据面部区域的大小来确定目标人体。具体来说，对在输入影像30a中识别到的多数人31、33、35，提取面部区域32、34、36后，在所述识别出的多数人31、33和35中，被提取的面部区域32、34、36最大的人33将会被确定为目标人体。而且，以目标人体33为准进行影像配准的结果，可以提供影像30b。根据本实施例，接近智能镜件200的人会被确定为目标人体，因此智能镜件200可以根据人的定位，依次提供相应的服务。
在一个实施例中，在识别到的多数人中，持有已指定的目标物体的人可以被确定为目标人体。此时，上述指定的目标物体诸如用户终端、智能牙刷、刀或手枪等武器类等可以根据系统的目的分别被指定。具体来说，在所识别到的多数人中各个被指定的位置里检测到具有指定目标物体形状的客体，而在所述被识别的多数人中第一人体指定位置上检测到具有指定目标物体形状的客体时，所述第一人体可以被确定为目标人体。此时，所述指定目标物体为具有牙刷形状的客体时，所述指定位置可以在与人的指尖相对应的位置上。
为方便理解，参考图10a和图10b进行详细说明。如果指定的目标对象为牙刷或智能牙刷，在输入影像40a中识别到的多数人体41和43指尖上检测到牙刷形状的客体44时，如图10b所示，提供了以第一人体43为基准的影像配准的影像40b。
在上述实施例中，可以存在多个持有指定目标物体的人体。此时，根据不同的标准至少可以确定一个人体为目标人体。
例如，以面部区域的大小为准将位于最近距离的人确定为目标人体。
在另一个例子中，以输入影像的顺序为准可以确定目标人体。具体来说，在第一人体指定的位置检测到具有指定目标物体形状的客体，在第二人体指定的位置检测到具有所述指定目标物体形状的客体时，在上述第一人体和上述第二人体中，将先纳入到所述输入影像的人确定为目标人体。当然，根据其顺序，也可以确定多数人为目标人体。
再举一个例子，在携带指定目标物体的多数人体中位于已指定方向的人可以被确定为目标人体。具体来说，在第一人体指定的位置检测到具有指定目标物体形状的客体，在第二人体指定的位置检测到具有所述指定目标物体形状的客体时，在上述第一人体和上述第二人体中，位于已指定方向的人体可以被确定为目标人体。根据本案例，幼儿园的台盆上安装了智能镜件，多数幼儿园儿童从右手边入场按照刷牙的指引内容刷牙后从左手边离开时，可以提供基于入场顺序配准影像的刷牙指引服务。
在一个实施例中，携带指定目标物体的多数人中在所述目标物体指定的位置被检测到的人体可以被确定为目标人体。在此，所述指定的位置可以根据目标物体的种类不同。为方便理解，参考图11详细说明所述目标物体为智能牙刷时的情形。
参考图11，在指尖检测到智能牙刷52、54、56的多数儿童51、53、55中，所述智能牙刷在嘴边检测到的儿童53可以被确定为目标人体。以此通过智能镜件200获得牙刷指引服务的儿童中，智能镜件200可以对先开始刷牙的儿童提供自动影像配准，并提供其结果影像以及刷牙指引内容。
在一些实施例中，如图12所示，对输入影像里的语音或单独的语音传感器检测到的语音信号61进行语音识别，通过所述语音识别得出的文本63来确定目标人体。下面来说明基于语音识别的几个实施例。
在一个实施例中，与识别到的语音相对应的文本在第一人体的外部线条内部区域被检测时，所述第一人体可以被确定为目标人体。参考图13，举一个老师在佩戴胸牌的多数儿童中点名第一儿童的例子来说明。参考图13，一旦识别出点名第一儿童的语音信号并获得指向上述第一儿童姓名的文本，在输入影像70中包含的多数人的外部线条内部区域71、73、75中判定是否可以检测到上述获取的文本。在上述多数人中，在第一儿童的外部线条内部区域73中识别与上述获得的文本相同的文本74，上述第一儿童可被确定为目标人体。因此，在多数儿童中可以提供以佩戴胸牌的儿童为准的影像配准结果影像。
在一个实施例中，识别到出的语音的文本与第一人体的姓名相对应时，对识别到的多数人各自进行人脸识别，并基于上述人脸识别结果在上述识别到的多数人中可以确定上述第一人体为目标人体。具体来说，通过语音识别第一人体的姓名以文本形式获得时，利用包含人的姓名信息以及人脸图像的已搭建的人脸数据对识别出的多数人脸进行人脸识别。因此，在上述识别到的多数人中，与上述第一人体的姓名相对应的人脸将被确定为目标人体。根据本实施例，可以以被点名的特定人体为准配准影像并可用于各种情境。例如，在监控区域内走失儿童的父母呼叫该儿童的姓名并寻找儿童时，在各个监控影像中包含该儿童的影像配准功能可以自动实施，并可以利用于走失儿童的寻找服务。再举一个例子，如果警察在监控区域内呼叫并跟踪通缉犯的姓名时，对各个监控影像中包含该通缉犯的影像可以自动配准影像，可以利用于抓获通缉犯。
在几个实施例中，各个识别到的多数人可以通过基于情境(context-based)的目标人体判定，确定符合当前情况的目标人体。在此，利用于上述情况关注人体判定逻辑的情况信息可以包含天气、时间、场所和人口统计学特征的组合等。
在一个实施例中，在识别到的各个多数人中基于人口统计学特征的组合判断情形，并将符合上述判定情形的人体确定为目标人体。例如，如图14所示，在被认识的多数人81、83、85中，由40岁男性和30岁女性组合而成的人83、85可以被确定为目标人体。或者，符合父母和子女、男人和男人、男人和女人等多种组合条件的人可以被确定为目标人体。
到目前为止，参考图8至图14说明了在本发明的若干实施例中可以参考的目标人体确定方法。在以下步骤(S170)中，将说明显示基于目标人体配准的结果影像的方法。
在一个实施例中，可以显示在目标人体或所述目标人体中突出满足指定条件的人体的影像。在此，所述突出影像的方法可以包含诸如包围盒(boundingbox)处理、在周边为黑白的状态下对目标人体的彩色处理等突出目标人体的所有影像处理技巧。举个更为具体的例子，通过智能镜件200提供刷牙指引服务时，可以提供正在刷牙的第一儿童可以彩色处理，没有开始刷牙的儿童可以黑白处理的结果影像。
在一个实施例中，可以显示更多对目标人体特定的附加信息。例如，检测到目标人体符合指定条件的行动时，所述行动实施的期间信息可以在目标人体周围显示。具体来说，儿童刷牙的时间、被怀疑为绑架犯的人在儿童周围徘徊的时间等信息可以在该人体周边显示。此外，目标人体的人口统计学特征信息等多种信息也会在目标人体周围更多地显示。
在一个实施例中，确定多数人为目标人体时，第一目标人体为准配准影像的第一结果影像在第一区域显示，第二目标人体为准配准影像的第二结果影像可以在第二区域显示。例如，如图15所示，正在刷牙的多数儿童91、93、95被确定为目标人体时，以各个儿童91、93、95为准配准影像并在各自的结果影像被分割的区域90a、90b、90c显示。
在前述实施例中，根据所述分数或优先顺序划分的区域大小可以动态调整。例如，如图16所示，多数儿童101、103、105在刷牙时，可根据每个儿童的刷牙分数调整分割区域100a、100b、100c的大小。尤其图16举例说明第二儿童63在刷牙分数最高，其次是第一儿童61以及第三儿童65的情形。在这里，上述刷牙分数可以通过诸如从各儿童101、103、105使用的智能牙刷获取的信息、提供刷牙指引内容时是否按照所述刷牙指引内容进行刷牙的影像分析信息(e.g基于内容影像是否符合拍摄影像与否)、刷牙时间等多种方式得出计算结果。通过上述例子，具有刺激儿童的竞争心理诱导儿童正确刷牙的效果。
到目前为止，参考图7至图16，对根据本发明的实施例的影像配准方法进行了说明。下面参考图17至图20，对根据本发明的若干实施例的目标用户服务提供画面的构成方法进行说明。
在下面要说明的所述服务提供画面的构成方法可以通过各个步骤的计算装置实施。例如，所述计算装置可以是服务提供装置。但为方便说明，上述服务提供画面的构成方法所包含的各个阶段的动作主体可以被省略标记。不仅如此，所述服务提高画面构成方法的每个步骤都由处理器执行，可以是在服务提供装置上执行的操作。
首先，参考图17至图19b，对根据本发明的第一实施例的目标用户的服务提供画面的构成方法进行说明。
图17是根据上述第一实施例的目标用户的服务提供画面构成方法的流程图。但是，这只是为了达到本发明目的的优选实施例，可以根据需要增加或删除部分步骤。在以下情况下，为方便理解，假设输入影像中的人为多数人来进行说明。但如前面所述，本发明的范围不限于此。
参考图17，在输入影像中识别到出多数人S210，在识别的多数人中确定目标人体S230。步骤S210、S230与前述步骤S110、S130相同，为避免重复说明而省略记载。
其次，无需用户输入可以构成和显示服务提供画面S250。例如，所述目标人体为持有智能牙刷的儿童时，为了提供刷牙指引服务可以播放刷牙指引内容。
在一个实施例中，如图18a所示可以构成提供服务的画面。具体来说，目标人体111、113、115为多数人时，服务提供画面可以显示各分割区域110a、110b、110c目标人体为准的影像配准的结果影像，并且各目标人体的内容可以在个分割区域110a、110b、110c内的部分区域112、114、116上显示。根据实施例，所述结果影像可能不予显示，并且各个内容也可以在各分割区域110a、110b、110c显示。
在一个实施例中，如图18b所示，对多数目标人体111、113、115共同提供内容时在新的分割区域110d可以显示上述共同的内容。在图18b中新的分割区域110d作为示例位于下端，但新的分割区域110d大小和位置可以根据内容的清晰度而随时变更。
另一方面，根据本发明的实施例，可以利用从目标人体用户终端获取的数据构成服务提供画面。更详细的说，检测到具有用户终端或指定物体形状的人被确定为目标人体时，通过构建的人脸数据或识别信息数据可以获得上述目标人体的识别信息(e.g.ID，姓名等)。这样可以利用所述识别信息查询所述目标人体所拥有的所述用户终端信息，利用所述用户终端信息，可以从所述用户终端获取内容构成服务提供画面。此时，与所述识别信息相对应的用户终端信息可以是已存储的信息。为方便理解，参考图19a和图19b，将对本实施例进行具体说明。
图19a和图19b示出发表人被确定为目标人体，通过终端获取的发表内容通过通过服务提供装置显示。下面将参考图19a和图19b进行说明。
假设服务提供设备是安装在发表场所的计算设备，所述服务提供装置可以在输入影像120a中识别出的多数人中，确定指尖上检测到指针形状物体122的人121作为目标人体。
一旦确定目标人体后，如图19b所示，所述服务提供装置生成以目标人体121为准配准影像的结果影像120b，并显示在画面上的第一区域，将目标人体121所持有的从用户终端130获取的发布内容123显示在所述画面上的第二区域。图19b示出在各独立的分割区域上显示结果影像120b和内容123为示例，但如前述，服务画面的布局、显示方式等可以随时变更。
根据参考图19a和图19b说明的例子，发表人自动被确定为目标人体，所述发表人可以为进行演讲(presentation)可以自动构成个性化服务画面。由此，提高了用户使用的方便性。
到目前为止，参考图17至图19b，对根据本发明的第一实施例的目标用户的服务提供画面构成方法进行了说明。下面参考图20说明根据本发明第二实施例的目标用户的服务提供画面构成方法。
图20是示出根据上述第二实施例的目标用户提供服务画面构成方法的流程图。但是，这只是为实现本发明目的的一个实施例，可以根据需要增加或删除部分步骤。
参考图20，在输入影像中识别多数人体S310。
其次，在识别到的多数人体生体信号传感器获取生体数据S330。在此，所述生体信号传感器包括诸如贴在用户身体的生体信号传感器、可穿戴设备(wearable device)和/或贴在用户终端的生体信号传感器等。不仅如此，所述生体数据还可以包括心率、血压、氧饱和度、压力指数、牙齿清洁度等。
其次，利用获取的生体数据，在所述识别到的多数人体中确定目标人体S350。例如，血压高的人、没有刷好牙的人、心率高的人等生体数据不在正常范围内的人可能会被确定为目标人体。
在一个实施例中，为了确定上述目标人体可以利用更多识别到的多数人体影像分析结果。例如，将不健康的人确定为目标人体时通过对面部的血流量信息、表情信息(e.g皱眉头的表情)等分析信息的影像分析得出结果，并进一步利用上述信息，更准确地确定目标人体。
其次，无需用户输入构成和显示以目标人体为准的服务提供画面S370。例如，不健康的人被确定为目标人体时可以提供运动内容、有关特定疾病的内容等。不仅如此，如果没有刷好牙的人被确定为目标人体时，可以提供刷牙指引内容。
到目前为止，参考图20说明了根据本发明的第二实施例的目标用户提供服务画面的构成方法。如上所述，可以提供利用用户生体信号信息的用户个性化服务。
到目前为止，参考图1至图20说明的本发明的概念可以通过计算机可读介质上由计算机可读代码来实现。所述计算机可读记录媒体，诸如移动式记录媒体(光盘、DVD、蓝光光碟、U盘、移动式硬件)或固定式记录媒体(只读存储器、随机存取存储器、计算机硬盘)。在上述计算机可读记录媒体上记录的上述计算机程序可通过因特网等网络传送到其它计算设备，并安装在上述其它计算设备上，从而可以在上述其它计算机设备中使用。
虽然附图中的动作按照特定的顺序排列，但不一定是按照图示的特定顺序或依次顺序实施或者所有图示的动作必须都要实施才能得到想要的结果。在特定情况下，多种任务和并行处理反而更有利。更何况，在上述实施例中各种组成部分的分离不应被理解为是必然的，而所述程序元件以及系统通常应理解为可以合并为单一软件产品或封装为多个软件产品。
综上，参考以上附图说明了本发明的实施例，本区域所属技术区域的普通技术人员可以理解，本发明在不改变其技术思想或必要特征的情况下也可以以其他具体形式实施。因此，以上所述的实施例在所有方面都是预示性的，但不限于此。

Claims (21)

1.影像配准方法，包括以下步骤：
在输入影像中识别至少一个人体的步骤；
所述影像配准装置确定目标人体的步骤；
所述影像配准装置在所述输入影像中以目标人体为准配准影像，所述影像配准无需用户输入对所述影像配准的步骤。
2.如所述权利要求1所述的影像配准方法，其中，确定目标人体的步骤包括以下步骤：
对所述识别到的人体进行人口统计学特征分析的步骤；
利用所述人口统计学特征分析在所述识别到的人体中确定符合指定人口统计学信息特征的目标人体的步骤。
3.如所述权利要求1所述的影像配准方法，其中，对所述识别到出的人体进行人口统计学特征分析的步骤包括以下步骤：
所述识别到的人体中对第一人体的年龄进行分析，确定上述第一人体的年龄为指定的父母年龄段的步骤；
所述识别到的人体中对第二人体的年龄进行分析，确定上述第二人体的年龄为指定的儿童年龄段的步骤；
利用上述分析的人口统计学特征，对上述识别到的人体中确定具有符合指定人口统计学信息特征的目标人体的步骤还包括将所述第二人体确定为目标人体的步骤。
4.如所述权利要求1所述的影像配准方法，其中，确定所述目标人体的步骤包括以下步骤：
在识别到的人体中提取面部区域的步骤；
在所述识别到的人体中将被提取的面部区域最大的人体确定为目标人体的步骤。
5.如所述权利要求1所述的影像配准方法，其中，确定所述目标人体的步骤包括以下步骤：
在识别到的人体的各指定位置上检测到具有指定形状客体的步骤；
第一人体指定位置上检测到所述指定形状的客体时将所述第一人体确定为目标人体的步骤。
6.如所述权利要求5所述的影像配准方法，其中,所述指定位置应对于人体指尖的位置，所述具有指定形状的客体是牙刷形状的客体。
7.如所述权利要求5所述的影像配准方法，其中,第一人体指定位置上检测到所述指定形状的客体时将所述第一人体确定为目标人体的步骤，还包括在第一人体指定的位置上检测到具有所述指定形状的客体，而且在第二人体指定位置上检测到具有所述指定形状的客体时在所述第一人体和第二人体中将首先纳入到所述输入影像的人体确定为目标人体的步骤。
8.如所述权利要求5所述的影像配准方法，其中,第一人体指定位置上检测到所述指定形状的客体时将所述第一人体确定为目标人体的步骤：
还包括在第一人体指定的位置上检测到具有所述指定形状的客体，而且在第二人体指定位置上检测到具有所述指定形状的客体时在所述第一人体和第二人体中将位于已指定方向的人体确定为目标人体的步骤。
9.如所述权利要求1所述的影像配准方法，其中,确定所述目标人体的步骤还包括如下步骤：
在所述识别到的人体各个嘴边位置检测到牙刷形状客体的步骤；
在第一人体嘴边位置检测到所述牙刷形状的客体时，将所述第一人体确定为所述目标人体的步骤。
10.如所述权利要求1所述的影像配准方法，其中,确定所述目标人体的步骤还包括如下步骤：
识别语音的步骤；
与所述识别到的语音匹配的文本在第一人体外部线条内部区域里被检测到时，将所述第一人体确定为所述目标人体的步骤。
11.如所述权利要求1所述的影像配准方法，其中,确定所述目标人体的步骤还包括如下步骤：
识别语音的步骤；
为检测到与所述识别到的语音相应对的文本所指向的人名的第一人体，对识别到的各个人体识别人脸的步骤；
将所述第一人体确定为目标人体的步骤。
12.如所述权利要求1所述的影像配准方法，其中,确定所述目标人体的步骤：
还包括通过基于情境(context-based)的目标人体判定逻辑，对所述识别到的各个人体确定符合目前情况的目标人体的步骤。
13.如所述权利要求12所述的影像配准方法，其中,通过基于情境(context-based)目标人体判定逻辑，对所述识别到的各个人体确定符合目前情况的目标人体的步骤包括如下步骤：
还包括对识别到的各个人体基于人口统计学特征组合判定情况，并根据所述被判定的情况确定符合条件的目标人体的步骤。
14.如所述权利要求1所述的影像配准方法，其中,所述影像配准装置还包括突出所述目标人体的步骤。
15.计算程序，其特征在于包括以下步骤：
结合计算装置在输入影像识别至少一个人体的步骤；
在所述识别到的人体中确定目标人体的步骤；
无需用户输入在所述输入影像以目标人体为准配准影像存储在记录媒体的步骤。
16.智能镜件，其特征在于包括以下部件：
生成输入影像的前置相机传感器；
在所述输入影像中识别至少一个人体，并在识别到的人体中确定目标人体，并对所述输入影像以目标人体为准配准影像，而无需用户输入可以配准所述影像的影像配准处理器；
以及显示所述影像配准的结果影像的显示屏。
17.给目标用户提供服务的画面构成方法，包括如下步骤：
提供服务的装置在输入影像识别至少一个人体的步骤；
提供服务的装置在所述识别到的人体中确定目标人体的步骤；
提供服务的装置从所述输入影像中构成和显示以所述目标人体为准的画面，而且无需用户输入可以构成所述提供服务的画面的步骤。
18.如所述权利要求17所述的影像配准方法，其中,目标用户提供服务的画面构成方法包括以下步骤：
确定所述目标人体的步骤；
对所述识别到的各个人体检测到具有指定形状的客体的步骤；
将已被检测到所述指定形状的客体的人体确定为目标人体的步骤。
19.如所述权利要求18所述的影像配准方法，其中,目标用户提供服务的画面构成方法包括以下步骤：
具有所述指定形状的客体为具有用户终端形状的客体，在所述输入影像构成和显示以所述目标人体为准提供服务画面的步骤；
识别所述目标人体的步骤；
利用所述目标人体的识别结果，查询所述目标人体拥有的用户终端信息的步骤；
利用所述用户终端信息从所述用户终端获取数据的步骤；
利用从所述用户终端获取的数据构成所述服务提供画面的步骤。
20.一种目标用户提供服务的画面构成方法，包括以下步骤：
提供服务装置在输入影像中识别至少一个人体的步骤；
所述提供服务装置从所述识别到的人体的生体信号传感器获取生体数据的步骤；
所述服务提供装置利用所述获取的生体数据在所述识别到的人体中确定目标人体的步骤；
所述服务提供装置在所述输入影像中以目标人体为准构成和显示服务提供画面，但用户无需为所述服务提供画面输入，可以构成和显示所述服务提供画面的步骤。
21.如所述权利要求20所述的影像配准方法，其中,目标用户提供服务的画面构成方法包括以下步骤：
确定所述目标人体的步骤；
利用更多所述识别到的人体影像分析结果，确定所述目标人体的步骤。
CN201880056637.9A 2017-08-29 2018-08-27 影像配准方法及其装置 Pending CN111052185A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170109287A KR101972331B1 (ko) 2017-08-29 2017-08-29 영상 얼라인먼트 방법 및 그 장치
KR10-2017-0109287 2017-08-29
PCT/KR2018/009857 WO2019045385A1 (ko) 2017-08-29 2018-08-27 영상 얼라인먼트 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN111052185A true CN111052185A (zh) 2020-04-21

Family

ID=65527696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880056637.9A Pending CN111052185A (zh) 2017-08-29 2018-08-27 影像配准方法及其装置

Country Status (5)

Country Link
US (2) US11354882B2 (zh)
JP (2) JP6946551B2 (zh)
KR (1) KR101972331B1 (zh)
CN (1) CN111052185A (zh)
WO (1) WO2019045385A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7215936B2 (ja) * 2019-03-08 2023-01-31 本田技研工業株式会社 迷子予防支援システム
WO2021091362A1 (ko) * 2019-11-07 2021-05-14 주식회사 블루레오 어플리케이션과 연동 가능한 전동칫솔을 이용한 구강관리 방법
WO2021077141A2 (en) * 2021-02-05 2021-04-22 Innopeak Technology, Inc. Highlight moment detection for slow-motion videos
US20220012491A1 (en) * 2021-09-23 2022-01-13 Intel Corporation Contextual usage control of cameras
US11526324B2 (en) * 2022-03-24 2022-12-13 Ryland Stefan Zilka Smart mirror system and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008277903A (ja) * 2007-04-25 2008-11-13 Sony Corp 撮像装置及びフォーカス対象決定方法
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法
CN104732218A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 图像显示的方法及装置
CN106250421A (zh) * 2016-07-25 2016-12-21 深圳市金立通信设备有限公司 一种拍摄处理的方法及终端
KR20170030421A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US9710708B1 (en) * 2014-03-24 2017-07-18 Vecna Technologies, Inc. Method and apparatus for autonomously recognizing at least one object in an image

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
JP4168940B2 (ja) * 2004-01-26 2008-10-22 三菱電機株式会社 映像表示システム
JP2006033380A (ja) * 2004-07-15 2006-02-02 Hitachi Kokusai Electric Inc 監視システム
EP1840953A4 (en) 2005-03-14 2011-09-21 Sumitomo Bakelite Co SEMICONDUCTOR COMPONENT
JP4689341B2 (ja) 2005-05-02 2011-05-25 パナソニック株式会社 画像表示装置及び画像表示システム
KR100738080B1 (ko) * 2005-11-08 2007-07-12 삼성전자주식회사 성별을 이용한 얼굴 인식 방법 및 장치
US7987111B1 (en) * 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US9143573B2 (en) * 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
JP2010109898A (ja) * 2008-10-31 2010-05-13 Canon Inc 撮影制御装置、撮影制御方法及びプログラム
JP5489197B2 (ja) * 2008-11-10 2014-05-14 九州日本電気ソフトウェア株式会社 電子広告装置・方法及びプログラム
JP2010147808A (ja) * 2008-12-18 2010-07-01 Olympus Imaging Corp 撮像装置および撮像装置における画像処理方法
JP2011138178A (ja) 2009-12-25 2011-07-14 Takenaka Komuten Co Ltd 発光装置、不審者検出システムおよびプログラム
US20110280439A1 (en) * 2010-05-11 2011-11-17 Beverly Harrison Techniques for person detection
US20110298912A1 (en) * 2010-06-02 2011-12-08 Honeywell International Inc. Wavefront sensing for biometric imaging
US20120271121A1 (en) * 2010-12-29 2012-10-25 Basis Science, Inc. Integrated Biometric Sensing and Display Device
CN103443772B (zh) * 2011-04-13 2016-05-11 塔塔咨询服务有限公司 基于多模态数据分析的个人性别验证的方法
JP5680475B2 (ja) * 2011-04-26 2015-03-04 日本アビオニクス株式会社 携帯型無線端末
JP2013065110A (ja) * 2011-09-15 2013-04-11 Omron Corp 検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体
US9111147B2 (en) 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
JP2013190943A (ja) 2012-03-13 2013-09-26 Aiphone Co Ltd 物体検出装置及びインターホンシステム
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
CA2913461C (en) 2013-05-30 2016-05-24 Facebook, Inc. Tag suggestions for images on online social networks
WO2015041641A1 (en) * 2013-09-18 2015-03-26 Intel Corporation Automated image cropping and sharing
US9589205B2 (en) * 2014-05-15 2017-03-07 Fuji Xerox Co., Ltd. Systems and methods for identifying a user's demographic characteristics based on the user's social media photographs
KR20160003996A (ko) * 2014-07-01 2016-01-12 주식회사 아이티엑스시큐리티 감시 영상 분석 장치 및 방법
WO2016020803A1 (en) * 2014-08-04 2016-02-11 Sarubbo Davide A system for checking a correct oral hygiene procedure
US9626768B2 (en) 2014-09-30 2017-04-18 Microsoft Technology Licensing, Llc Optimizing a visual perspective of media
JP6455977B2 (ja) * 2015-02-27 2019-01-23 みこらった株式会社 飛行体
KR101716365B1 (ko) * 2015-05-14 2017-03-15 군산대학교산학협력단 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법
KR101691782B1 (ko) * 2015-06-29 2017-01-02 주식회사 슈프리마에이치큐 얼굴인식을 이용한 인증장치 및 그 인증방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008277903A (ja) * 2007-04-25 2008-11-13 Sony Corp 撮像装置及びフォーカス対象決定方法
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法
US9710708B1 (en) * 2014-03-24 2017-07-18 Vecna Technologies, Inc. Method and apparatus for autonomously recognizing at least one object in an image
CN104732218A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 图像显示的方法及装置
KR20170030421A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
CN106250421A (zh) * 2016-07-25 2016-12-21 深圳市金立通信设备有限公司 一种拍摄处理的方法及终端

Also Published As

Publication number Publication date
JP7151959B2 (ja) 2022-10-12
KR101972331B1 (ko) 2019-04-25
JP2020535499A (ja) 2020-12-03
JP6946551B2 (ja) 2021-10-06
KR20190023469A (ko) 2019-03-08
WO2019045385A1 (ko) 2019-03-07
US20200134352A1 (en) 2020-04-30
US11354882B2 (en) 2022-06-07
JP2021192305A (ja) 2021-12-16
US20220262091A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
CN111052185A (zh) 影像配准方法及其装置
JP7229174B2 (ja) 人識別システム及び方法
WO2019214201A1 (zh) 活体检测方法及装置、系统、电子设备、存储介质
KR102391792B1 (ko) 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체
US11113511B2 (en) Makeup evaluation system and operating method thereof
US20090299814A1 (en) Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale
US10504228B2 (en) Image processing system and method
KR20040036730A (ko) 전시품에 관한 관심을 평가하는 방법 및 장치
CN112632349B (zh) 展区指示方法、装置、电子设备及存储介质
JP2019023785A (ja) 人物識別装置及びプログラム
US20070253598A1 (en) Image monitoring apparatus
US11819996B2 (en) Expression feedback method and smart robot
Anderson et al. Robust real-time face tracker for cluttered environments
US20220256094A1 (en) Method and System for Assisting a User Who is Looking at a Screen of a User Device
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
KR102239015B1 (ko) 영상 얼라인먼트 방법 및 그 장치
KR20230077560A (ko) 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법
JP7423904B2 (ja) 情報出力装置、方法、及びプログラム
JPH10340342A (ja) 個体識別装置
CN112560768A (zh) 闸机通道控制方法、装置、计算机设备及存储介质
Lin et al. Face detection based on the use of eyes tracking
Tapu et al. Face recognition in video streams for mobile assistive devices dedicated to visually impaired
CN109255674A (zh) 一种试妆数据处理系统及方法
US11250242B2 (en) Eye tracking method and user terminal performing same
WO2021234845A1 (ja) 情報処理装置、感情推定方法、及び感情推定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200421

WD01 Invention patent application deemed withdrawn after publication