CN114786565A - 用于生成个人外观方面的变化的时间序列图像的技术 - Google Patents
用于生成个人外观方面的变化的时间序列图像的技术 Download PDFInfo
- Publication number
- CN114786565A CN114786565A CN202080081958.1A CN202080081958A CN114786565A CN 114786565 A CN114786565 A CN 114786565A CN 202080081958 A CN202080081958 A CN 202080081958A CN 114786565 A CN114786565 A CN 114786565A
- Authority
- CN
- China
- Prior art keywords
- images
- digital source
- source images
- interest
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 4
- 239000002537 cosmetic Substances 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 238000011282 treatment Methods 0.000 abstract description 3
- 238000010606 normalization Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 210000000720 eyelash Anatomy 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 7
- 206010040954 Skin wrinkling Diseases 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000037303 wrinkles Effects 0.000 description 5
- 208000003351 Melanosis Diseases 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 206010014970 Ephelides Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000036560 skin regeneration Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Dermatology (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种计算机系统创建活体对象的延时视频,以帮助评估皮肤治疗、化妆品使用或个人护理例程随时间的推移的效果。在一个方面,计算机系统获取在第一时间周期中捕获的活体对象的感兴趣区域(例如,活体对象的面部或其一部分)的一组数字源图像(例如,来自视频或一系列静止图像);标准化该组数字源图像;通过从该组数字源图像中合成或选择包括感兴趣区域的第一代表性图像来获取该第一代表性图像;并且将第一代表性图像与来自其他时间段的附加代表性图像组合,以形成活体对象的感兴趣区域的时延视频。
Description
相关申请的交叉引用
本申请要求于2019年11月26日提交的美国专利申请号16/696,871的权益;其内容通过引用整体结合于此。
发明内容
提供本概述是为了以简化的形式介绍将在下面的详细描述中进一步描述的一些构思。本概述不旨在标识所要求保护的主题的关键特征,也不旨在用于帮助确定所要求保护的主题的范围。
在一些实施例中,计算机系统执行创建活体对象的时延视频的方法,例如以帮助评估皮肤治疗、化妆品使用或个人护理例程随时间的推移的效果。该方法包括由计算设备获取活体对象的感兴趣区域(例如,活体对象的面部或其一部分)的一组数字源图像(例如,来自视频或一系列静止图像),其中该组数字源图像在第一时间段中捕获;通过从该组数字源图像中合成或选择包括感兴趣区域的第一代表性图像来获取第一代表性图像,其中第一代表性图像与第一时间段相关联;以及将第一代表性图像与包括活体对象的感兴趣区域的一个或多个附加代表性图像组合,以形成活体对象的感兴趣区域的时延视频,其中一个或多个附加代表性图像与一个或多个附加时间段相关联。
在实施例中,获取包括感兴趣区域的第一代表性图像包括通过选择数字源图像中的多于两个的部分并将所选择的部分组合在复合图像中来合成第一代表性图像。
在实施例中,该组数字源图像包括从不同角度拍摄的图像。在实施例中,获取包括感兴趣区域的第一代表性图像包括通过选择从不同角度拍摄的图像的部分并形成包括所选择的部分的复合图像来合成第一代表性图像。
在实施例中,该方法还包括在数字源图像中的每一个中标识一个或多个特征点(例如,活体对象的一个或多个面部特征)。
在实施例中,该方法还包括标准化该组数字源图像。在实施例中,合成或选择第一代表性图像包括合成该组标准化数字源图像或从该组标准化数字源图像中进行选择。在实施例中,标准化该组数字源图像包括以下中的一个或多个:在数字源图像中的一个或多个中执行降噪;调节数字源图像中的一个或多个的取向;裁剪数字源图像中的一个或多个;调节数字源图像中的一个或多个的亮度;或者调节数字源图像中的一个或多个的对比度。
在实施例中,该方法还包括使得在用户的请求下例如在移动计算设备上显示时延视频。
附图说明
如通过参考结合附图进行的以下详细描述,本公开的前述方面和许多伴随的优点变得更好理解的那样,本公开的前述方面和许多伴随的优点将变得更容易理解,其中:
图1是根据本公开的各个方面的获取图像并生成活体对象的时延视频的系统的示例实施例的示意图示;
图2是示出根据本公开的各个方面的移动计算设备和时延视频处理计算机系统的示例实施例的框图;
图3是示出根据本公开的各个方面的生成活体对象的感兴趣区域的时延视频的方法的非限制性示例实施例的流程图;
图4是示出根据本公开的各个方面的包括面部的图像的标准化的非限制性示例实施例的示意图;
图5是示出适合用作本公开的计算设备的示例性计算设备的各方面的框图。
具体实施方式
在化妆品和个人护理行业中,用于测量个人外观方面随时间的推移的差异的已知技术是以指定的时间间隔捕获随时间的推移的姿势一致的和照亮的图像。在简单的示例中,捕获姿势一致的和照亮的图像,以示出事件(诸如消费者使用特定的个人护理设备或产品)之前和之后的消费者的外观之间的差异。一致的姿势和照明允许对图像进行分析,以检测与例如特定个人护理设备或产品的使用相关的外观方面的差异。
然而,对于在家工作的消费者来说,捕获姿势一致的和照亮的图像是非常困难的。普通消费者无法获取捕获这种图像所需的专业技术和照明装备。另一方面,如果消费者的图像或视频是在不受控制的环境(例如,不考虑照明、保持一致的姿势等)中捕获的,由于处理来自不受控制的环境的图像具有技术挑战,这些图像目前不能用于可靠地跟踪个人护理例程方面的进展。所期望的是能够克服这些技术限制的技术,以便在不使用专业摄影师或专业摄影装备的情况下准确地跟踪皮肤治疗、化妆品的使用或个人护理例程的进展。
在本公开的一些实施例中,计算机系统产生时间序列图像以准确地示出个人外观方面的逐渐变化,诸如皮肤状况方面的随时间的推移的变化。时间序列图像由所捕获的图像组装,而无需专业摄影师或专业摄影装备。在实施例中,用户以周期性的间隔(例如,每天一次)捕获他们自己的视频或一系列静止图像,在预处理之后,该视频或该系列静止图像可以用于生成诸如时变视频的输出,以展示随时间的推移的变化。在化妆品或个人护理情景中,这种视频用于展示个人护理中取得的进展(例如,皮肤状况、肤色、皮肤纹理、头发状况等方面的改善)。这种视频可以与其他人共享(例如,通过社交媒体平台共享或直接从一台计算设备共享到另一台计算设备)。
在实施例中,用户捕获活体对象(例如,用户的面部或用户面部的一部分)的感兴趣区域的大量源图像(例如,10个、20个、数百个等),这些源图像可以在不同的环境中在不同的时刻、从可能的照明状况的范围内的各种角度拍摄。图像被标准化为客观基线,以允许精确的比较和示出随时间的推移的变化。标准化可以用于减少光照/曝光、取向、相机抖动、镜头状况等方面的变化的影响。这些图像被后处理以获取代表性图像,这可以包括从源图像当中选择图像或者使用两个或更多个源图像的各部分来合成新图像(例如,通过平均化、复合或以其他方式组合来自源图像的图像数据)。在实施例中,代表性图像与捕获相对应的源图像的时间段相关联(例如,每周、每天、每天两次等)。
在实施例中,所合成的图像被组合以形成时间序列变形视频,该视频描绘了外观方面的随时间的推移的生理变化或其他变化,诸如皱纹或雀斑淡化、皮肤再生、肤色方面有所改善等。通过在各时间段对代表性图像采用一致的处理方法,所合成的图像中的状况的变化相对于源图像中可能存在的变化大大减少。这使得在比较图像以跟踪消费者的外观方面的随时间的推移的变化更加便捷和准确。
图1是根据本公开的各个方面的获取图像并生成时延视频的系统的非限制性示例实施例的示意图。如所示出的那样,用户90利用移动计算设备102捕获她的面部的一个或多个数字源图像。用户90可能处于任何类型的位置,并且因此捕获图像的照明状况和其他环境因素可能是未知的。
在一些实施例中,移动计算设备102捕获图像的时间序列并将其传输给时延视频处理计算机系统104。图像可以从视频或从一系列静止图像中获取。所捕获的源图像之间照明状况和视角可能不同。在图1中描绘的说明性场景中,用户90配置移动计算设备102来使用前置相机(也称为“自拍”相机)捕获视频或静止图像,并以半圆运动的形式移动该计算设备102来从不同角度捕获感兴趣区域(例如,用户的面部或其一部分,诸如用户的前额、眼睛等)的图像。在另一实施例中,相机(例如,膝上型计算机或其他计算设备的前置相机)保持在固定位置,同时用户向不同方向转动其头部以从不同角度捕获感兴趣区域的图像。
通过在不同角度捕获图像,图像提供了感兴趣区域的更完整的表示。这对于跟踪关于改善肤色、减少雀斑或痤疮损伤、或者最小化皱纹或“鱼尾纹”的出现的进展可能是有用的,这些皱纹或“鱼尾纹”可能以不同的方式出现在用户的面部的不同部分上,或者当从不同角度观看时更明显。在图像捕获过程期间可以进行进一步的调节,包括电子或光学图像稳定。此外,后处理技术可以用于提高源图像的效用。例如,各个源图像可以被拼接成来自多个图像的全景图像,以便增加有效视野。
图2是示出根据本公开的各个方面的移动计算设备和时延视频处理计算机系统的非限制示例实施例的框图。如上所讨论的那样,移动计算设备102(智能手机、平板计算设备、膝上型计算机或另一计算设备)用于捕获用户90的静止图像或视频。移动计算设备102将视频或静止图像传输到时延视频处理计算机系统104(例如,台式计算设备、服务器计算设备、云计算设备或另一计算设备或计算设备的组合),该时延视频处理计算机系统生成用户90的时延视频,或者用来自当前图像捕获会话的新图像修改现有的时延视频。移动计算设备102和计算机系统104可以使用任何合适的通信技术进行通信,诸如无线通信技术(包括但不限于Wi-Fi、Wi-MAX、蓝牙、2G、3G、4G、5G和LTE)或者有线通信技术(包括但不限于以太网、FireWire和USB)。在一些实施例中,移动计算设备102和计算机系统104之间的通信可以至少部分地通过互联网进行。
在所示的实施例中,移动计算设备102包括相机202、数据收集引擎204和用户界面引擎206。相机202被配置成捕获数字源图像,以便随后在生成或修改时延视频中使用。在一些实施例中,移动计算设备102可以包括多个相机,包括但不限于前置相机和后置相机。在一些实施例中,前置相机(即,位于移动计算设备102的与移动计算设备102的显示器相同的面上的相机)用作用于捕获图像的相机202。在其他实施例中,计算设备与外部数码相机结合使用来捕获源图像。
数据收集引擎204被配置成使用相机202来捕获用户90的图像。用户界面引擎206被配置成向用户90呈现用户界面。在一些实施例中,用户界面包括图形用户界面,以帮助用户获取高质量图像、观看帮助用户90捕获高质量图像的指南、观看根据图像生成的延时视频等。在实施例中,用户界面提供指导(例如,以诸如箭头或目标、进展指示符、音频/触觉反馈、合成语音等的视觉指导的形式)来鼓励用户继续拍摄图像或从特定角度拍摄图像,以便确保收集足够的数据来合成特定时刻的代表性图像。通过这样做,用户界面引擎206有助于确保代表性图像具有足够的质量和一致性,以准确地与在不同时刻捕获的其他合成图像进行比较。
在所示的实施例中,计算机系统104包括时延视频引擎210和图像标准化引擎212。如所示出的那样,计算机系统104还包括图像数据存储装置216,所捕获的数字源图像可以存储在该存储器中,直到它们需要进一步处理。时延视频引擎210被配置为基于所捕获的源图像生成时延视频。
在实施例中,一组数字源图像由移动计算设备102在第一时间段中捕获,并由移动计算设备102传输到计算机系统104。在实施例中,用户界面引擎206提供特殊指令或图像捕获工具,用于捕获特定的感兴趣区域(例如,眼睛、前额、颈部等)。
在说明性场景中,移动计算设备102(或某个其他计算设备)控制数字摄像机来捕获源图像作为视频帧。所捕获的视频作为输入被提供给特征检测引擎,该特征检测引擎检测和跟踪视频中的随时间的推移的面部特征。视频不需要具有长持续时间才有效。例如,视频可以在几秒钟内捕获足够的特征数据来检测和准确地表示面部特征。在实施例中,在用户将她的头转在不同方向上转动从而以不同角度面对相机时,相机保持在固定位置。综上所述,视频的帧允许面部特征可以以足够的细节的形式被捕获以便进行有用的比较。
在一些实施例中,在随后的视频中以相似的方式检测和跟踪相同的特征或相似的特征,以便保持一致性并跟踪面部特征方面的随时间的推移的变化。在实施例中,面部特征被参数化(例如,使用对应于所检测的特征的像素的颜色值、光值)以帮助比较在不同时刻处捕获的特征。例如,测量皱纹或雀斑的外观方面的随时间的推移的变化的比较可以包括检测在不同时间与已知皱纹/雀斑位置相关联的面部特征,并确定这些区域中的光或颜色值,以允许进行随时间的推移的比较。根据本文描述的实施例,这些变化可以表示在时延视频中。
在一些实施例中,时延视频引擎210从该组数字源图像中获取代表性图像,从而将该代表性图像与第一时间段相关联。在实施例中,在源图像中标识特征点,以帮助获取代表性图像。在实施例中,作为获取代表性图像的过程的一部分,时延视频引擎标识源图像中的特征点,诸如通过选择其中关键特征点具有最高质量的图像、对包含这些特征点的图像区域进行平均以形成复合图像。替代性地,可以以一些其他方式获取代表性图像。
时延视频引擎210将该代表性图像与来自更早时间段的附加代表性图像进行组合,以形成时延视频段。时延视频片段可以利用附加特征来注释,这些附加特征允许用户更容易地看到进展,诸如高亮显示感兴趣区域(例如,皱纹、睫毛等)或勾画其轮廓,使得那些感兴趣区域中的随时间的推移的变化可以更容易地被看到。
在说明性场景中,用户将睫毛增长液施涂到她的睫毛上,每天两次持续三十天。每天,用户利用移动计算设备102捕获她的眼睛的一系列图像,并将这些图像上传到时延视频处理计算机系统104。在实施例中,这样的图像被捕获为视频或以静止图像突发模式进行捕获,其中以预定速率(例如,每秒10个图像)捕获一系列静止图像(例如,利用单次按钮按压)。在实施例中,用户界面引擎206提供用于捕获睫毛图像的特殊指令,诸如通过指令用户将相机固持为靠近眼睛区域,并在睁眼的情况下拍摄一组图像以及在闭眼的情况下分别拍摄一组图像。时延视频引擎210通过选择一个或多个高质量(例如,照明良好、模糊度低)的睁眼和闭眼图像并对这些图像的各部分进行平均化或以其他方式进行组合以形成复合图像作为代表性图像,以从该组数字源图像中获取代表性图像。在实施例中,通过标识图像中的特征点(例如,眼睛、眉毛、眼睑等),对代表性图像进行进一步处理。在实施例中,使用诸如边缘检测、角点检测等的计算机视觉技术来标识这样的特征点,并且跨时延视频的帧来跟踪这些特征点。这些特征点可以用于进一步处理,以帮助用户跟踪进展。在这个示例中,特征点可以用于标识睫毛区域,并围绕睫毛的周边绘制边界框。当这些边界框显示在时延视频的帧中时,时延视频的帧中的睫毛区域的比较示出了用户在长出更浓密、更长的睫毛方面的进展。
在一些实施例中,图像标准化引擎212被配置成在图像被提供给时延视频引擎210之前预处理图像,以便提高时延视频的质量。源图像的图像标准化可以包括例如执行降噪或过滤;调节取向;裁剪;调节亮度/曝光;调节对比度;调节对比度。下面参考图4描述说明性的图像标准化过程。
图1和图2中描绘的布置和使用场景的许多替代性方案是可能的。例如,尽管图2示出了由移动计算设备102或计算机系统104提供的各种组件,但是在一些实施例中,组件的布置或功能可以不同。例如,在一些实施例中,时延视频引擎210、图像标准化引擎212和图像数据存储装置216可以存在于移动计算设备102上,使得移动计算设备102可以生成时延视频,而无需将图像传输到计算机系统104。在这点上,图2中示出的所有组件可以由单个计算设备提供。作为又一示例,在一些实施例中,多个计算设备一起工作来提供在图2中被描绘为由计算机系统104提供的组件。
图3是示出根据本公开的各个方面的生成活体对象的感兴趣区域的时延视频的方法300的非限制性示例实施例的流程图。方法300由包括一个或多个计算设备的计算机系统执行。在实施例中,方法300由时延视频处理计算机系统104执行。替代性地,方法300由某个其他计算机系统执行。
在框302,计算机系统获取活体对象(例如,活体对象的面部或面部的一部分)的感兴趣区域的一组数字源图像(例如,视频或静止图像)。在实施例中,计算机系统通过从捕获该组数字源图像的客户端计算设备(诸如移动计算设备102)接收它们、或者通过从某个其他位置检索它们来获取该组数字源图像。替代性地,计算机系统可以通过直接捕获该组数字源图像来获取该组数字源图像。该组数字源图像在第一时间段内捕获(例如,由诸如移动计算设备102的客户端计算设备,或由某个其他计算设备)。在实施例中,该组数字源图像是以不同的角度、在不同的照明条件下或以其他变化方式捕获的。
在框304,计算机系统标准化该组数字源图像。在实施例中,标准化功能包括以下中的一个或多个:在数字源图像中的一个或多个中执行降噪;调节数字源图像中的一个或多个的取向;裁剪数字源图像中的一个或多个;调节数字源图像中的一个或多个的亮度;或者调节数字源图像中的一个或多个的对比度、这些标准化技术中的两种或更多种的组合、或其他标准化技术。
在框306,计算机系统通过从标准化的一组数字源图像中合成或选择包括感兴趣区域的第一代表性图像来获取第一代表性图像。第一代表性图像与第一时间段相关联。在实施例中,获取第一代表性图像包括通过选择标准化数字源图像中的两个以上的部分并将所选部分组合在复合图像中来合成第一代表性图像。在实施例中,数字源图像从不同角度拍摄,并且计算机系统通过选择从不同角度拍摄的图像的部分并形成包括所选择的部分或从所选择的部分导出的复合图像来合成第一代表性图像。
在框308,计算机系统将第一代表性图像与包括活体对象的感兴趣区域的一个或多个附加代表性图像组合,以形成活体对象的感兴趣区域的时延视频。一个或多个附加代表性图像与一个或多个附加时间段相关联。在实施例中,计算机系统诸如通过响应于从客户端计算设备接收的请求将时延视频发送到客户端计算设备,来使得时延视频被显示或者便于时延视频的显示。
图3中描绘的过程的许多替代性方案是可能的。例如,在一些实施例中,标准化在某个其他时间执行或由某个其他计算系统或设备执行,诸如在客户端计算设备处的图像捕获阶段期间。在这点上,在一些实施例中,从方法300中省略了标准化。
图4是示出根据本公开的各个方面的包括活体对象的面部的图像的标准化的非限制性示例实施例的示意图。如所示出的那样,移动计算设备102已经捕获了对象的图像402,并且正在移动计算设备102的显示设备上呈现图像402。图像402包括仅占据整个图像402一小部分的偏心面。由此,可能难以将图像402与其他图像进行比较来标识这个时间段的代表性图像。为了允许更精确的比较,可能期望的是减少图像中的不包括感兴趣区域的量,诸如通过减少图像中的非面部区域并且将感兴趣区域放置在一致的位置。
在图4中示出的示例中,感兴趣区域是对象的面部。在这个示例中,图像标准化引擎212使用特征检测算法(例如,专用面部检测算法)来在第一标准化动作404中检测图像404中描绘该面部的部分。在实施例中,图像标准化引擎212使用面部检测算法来寻找包括面部的边界框406。在第二标准化动作408中,图像标准化引擎212改变图像408以使边界框406在图像408内居中。在第三标准化动作410中,图像标准化引擎212放大图像410,以使边界框406在图像410内尽可能大。在其他实施例中,图像标准化引擎采用不同的标准化动作,诸如将图像裁剪到边界框406、减少或增加位深度、对图像的像素进行欠采样或过采样等。在一些实施例中,使用这种标准化动作来匹配在不同时刻收集的其他图像,这些图像可以利用不同的相机、以不同的视角或取向或者在不同的照明条件下拍摄。
一般来说,如本文所用的单词“引擎”指的是以可以以编程语言(诸如C、C++、COBOL、JAVA、PHP、Perl、HTML、CSS、JavaScript、VBScript、ASPX、Microsoft.NETTM等)编写的硬件或软件指令实现的逻辑。引擎可以被编译成可执行程序或者以经解释的编程语言编写。软件引擎可以从其他引擎或它们自己调用。一般而言,本文描述的引擎指的是可以与其他引擎合并或者可以被分成子引擎的逻辑模块。引擎可以存储在任何类型的计算机可读介质或计算机存储设备中,并且可以被存储在一个或多个通用计算机上并由其执行,从而创建被配置为提供引擎或其功能的专用计算机。
如本领域普通技术人员所理解的那样,本文描述的“数据存储装置”可以是被配置为存储数据以供计算设备访问的任何合适的设备。数据存储装置的一个示例是在一个或多个计算设备上执行并可通过高速网络访问的高度可靠的高速关系数据库管理系统(database management system,DBMS)。数据存储装置的另一示例是键值存储装置。然而,可以使用能够响应于查询快速且可靠地提供所存储的数据的任何其他合适的存储技术和/或设备,并且计算设备可以是本地可访问的,或者可以被提供作为基于云的服务。数据存储装置还可以包括以有组织的方式存储在计算机可读存储介质上的数据,如下面进一步描述的那样。本领域的普通技术人员将认识到,在不脱离本公开的范围的情况下,本文描述的分离的数据存储装置可以被组合成单个数据存储装置,和/或本文描述的单个数据存储装置可以被分离成多个数据存储装置。
图5是示出适合用作本公开的计算设备的示例性计算设备500的各方面的框图。虽然上面讨论了多种不同类型的计算设备,但是示例性计算设备500描述了许多不同类型的计算设备所共有的各种元素。虽然图5是参考被实施为网络上的设备的计算设备来描述的,但是以下描述适用于服务器、个人计算机、移动电话、智能电话、平板计算机、嵌入式计算设备以及可以用于实施本公开的实施例的各部分的其他设备。而且,本领域的普通技术人员和其他人将认识到,计算设备500可以是任何数量的当前可用或尚待开发的设备中的任何一个。
在其最基本的配置中,计算设备500包括由通信总线506连接的至少一个处理器502和系统存储器504。根据设备的确切配置和类型,系统存储器504可以是易失性或非易失性存储器,诸如只读存储器(“ROM”)、随机存取存储器(“RAM”)、EEPROM、闪存或类似的存储器技术。本领域普通技术人员和其他人将认识到,系统存储器504通常存储处理器502可立即访问和/或由存储处理器当前正在操作的数据和/或程序模块。在这点上,处理器502可以通过支持指令的执行来充当计算设备500的计算中心。
如图5中进一步示出的那样,计算设备500可以包括网络接口510,该网络接口包括用于通过网络与其他设备通信的一个或多个部件。本公开的实施例可以访问利用网络接口510来使用公共网络协议执行通信的基本服务。网络接口510还可以包括无线网络接口,该无线网络接口被配置为经由一个或多个无线通信协议(诸如WiFi、2G、3G、LTE、WiMAX、蓝牙、蓝牙低能量等)进行通信。如本领域普通技术人员将会理解的那样,图5中示出的网络接口510可以表示上面关于系统100的特定部件描述和示出的一个或多个无线接口或物理通信接口。
在图5中示出的示例性实施例中,计算设备500还包括存储介质508。然而,可以使用不包括用于将数据持久存储到本地存储介质的装置的计算设备来访问服务。因此,图5中描绘的存储介质508利用虚线表示,以指示存储介质508是可选的。在任何情况下,存储介质508可以是易失性或非易失性的、可移除的或不可移除的、使用能够存储信息的任何技术来实施,诸如但不限于硬盘驱动器、固态驱动器、CD ROM、DVD或其他磁盘存储装置、盒式磁带、磁带、磁盘存储装置等。
如本文所用,术语“计算机可读介质”包括以能够存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实施的易失性和非-易失性以及可移除和不-可移除介质。在这点上,图5中描绘的系统存储器504和存储介质508仅仅是计算机-可读介质的示例。
包括处理器502、系统存储器504、通信总线506、存储介质508和网络接口510的计算设备的合适实施方式是已知的并且是商业上可获取的。为了便于说明,并且因为理解所要求保护的主题并不重要,所以图5没有示出许多计算设备的典型部件中的一些。在这点上,计算设备500可以包括输入设备,诸如键盘、小键盘、鼠标、麦克风、触摸输入设备、触摸屏、平板电脑等。这种输入设备可以通过有线或无线连接(包括RF、红外、串行、并行、蓝牙、蓝牙低能量、USB或使用无线或物理连接的其他合适的连接协议)耦接到计算设备500。类似地,计算设备500还可以包括输出设备,诸如显示器、扬声器、打印机等。由于这些设备在本领域中是众所周知的,因此本文中不进一步对它们进行说明或描述。
虽然已经示出和描述了说明性实施例,但是应当理解的是,在不脱离本发明的精神和范围的情况下,可以对其进行各种改变。
Claims (13)
1.一种创建活体对象的延时视频的方法,所述方法包括:
由计算设备获取活体对象的感兴趣区域的一组数字源图像,其中,所述组数字源图像在第一时间段中捕获;
通过从所述组数字源图像中合成或选择包括所述感兴趣区域的第一代表性图像来获取所述第一代表性图像,其中,所述第一代表性图像与所述第一时间段相关联;以及
将所述第一代表性图像与包括所述活体对象的感兴趣区域的一个或多个附加代表性图像组合,以形成所述活体对象的所述感兴趣区域的时延视频,其中,所述一个或多个附加代表性图像与一个或多个附加时间段相关联。
2.根据权利要求1所述的方法,其中,所述感兴趣区域包括所述活体对象的面部的至少一部分。
3.根据权利要求1所述的方法,其中,所述感兴趣区域的所述组数字源图像包括所述感兴趣区域的视频。
4.根据权利要求1所述的方法,其中,所述组数字源图像包括从不同角度拍摄的图像。
5.根据权利要求1所述的方法,其中,获取包括所述感兴趣区域的所述第一代表性图像包括通过选择所述数字源图像中的多于两个的部分并将所选择的部分组合在复合图像中来合成所述第一代表性图像。
6.根据权利要求1所述的方法,其中,所述组数字源图像包括从不同角度拍摄的图像,并且其中,获取包括所述感兴趣区域的第一代表性图像包括通过选择从不同角度拍摄的所述图像的部分并形成包括所选择的部分的复合图像来合成所述第一代表性图像。
7.根据权利要求1所述的方法,还包括标识所述数字源图像中的每一个的一个或多个特征点。
8.根据权利要求7所述的方法,其中,所述一个或多个特征点包括所述活体对象的一个或多个面部特征。
9.根据权利要求1至8中任一项所述的方法,还包括:
标准化所述组数字源图像;
其中,所述合成或选择所述第一代表性图像包括从标准化的所述组数字源图像中进行合成或选择。
10.根据权利要求9所述的方法,其中,标准化所述组数字源图像包括以下中的一个或多个:
在所述数字源图像中的一个或多个中执行降噪;
调节所述数字源图像中的一个或多个的取向;
裁剪所述数字源图像中的一个或多个;
调节所述数字源图像中的一个或多个的亮度;或者
调节所述数字源图像中的一个或多个的对比度。
11.根据权利要求1所述的方法,还包括使得显示所述时延视频。
12.一种被编程为创建活体对象的延时视频的计算机系统,所述计算机系统包括至少一个处理器和存储器,所述存储器中存储有计算机可执行指令,所述指令被配置为使所述计算机系统执行根据权利要求1至11中任一项所述的方法。
13.一种非暂时性计算机可读介质,其存储有计算机可执行指令,所述计算机可执行指令用于使得计算机系统执行根据权利要求1至11中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/696,871 | 2019-11-26 | ||
US16/696,871 US10999530B1 (en) | 2019-11-26 | 2019-11-26 | Techniques for generating time-series images of changes in personal appearance |
PCT/US2020/061831 WO2021108320A1 (en) | 2019-11-26 | 2020-11-23 | Techniques for generating time-series images of changes in personal appearance |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114786565A true CN114786565A (zh) | 2022-07-22 |
Family
ID=73854944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080081958.1A Pending CN114786565A (zh) | 2019-11-26 | 2020-11-23 | 用于生成个人外观方面的变化的时间序列图像的技术 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10999530B1 (zh) |
EP (1) | EP4064967A1 (zh) |
CN (1) | CN114786565A (zh) |
WO (1) | WO2021108320A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11430191B2 (en) * | 2021-02-03 | 2022-08-30 | Wayfair Llc | Systems and methods of augmented reality guided image capture |
CN113572978A (zh) * | 2021-07-30 | 2021-10-29 | 北京房江湖科技有限公司 | 全景视频的生成方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030065526A1 (en) * | 2001-10-01 | 2003-04-03 | Daniela Giacchetti | Historical beauty record |
US20090054744A1 (en) * | 2005-04-28 | 2009-02-26 | Naomi Kitamura | Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program |
US20140313303A1 (en) * | 2013-04-18 | 2014-10-23 | Digimarc Corporation | Longitudinal dermoscopic study employing smartphone-based image registration |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030063102A1 (en) | 2001-10-01 | 2003-04-03 | Gilles Rubinstenn | Body image enhancement |
JP3526039B2 (ja) | 2002-11-29 | 2004-05-10 | 富士通株式会社 | 時系列画像情報処理方法および装置 |
JP5052319B2 (ja) | 2007-12-17 | 2012-10-17 | オリンパス株式会社 | 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法 |
JP5657494B2 (ja) | 2011-09-22 | 2015-01-21 | 富士フイルム株式会社 | シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム |
US9451165B2 (en) | 2013-02-14 | 2016-09-20 | Hitachi Kokusai Electric Inc. | Image processing apparatus |
WO2014155153A1 (en) * | 2013-03-27 | 2014-10-02 | Nokia Corporation | Image point of interest analyser with animation generator |
US20180015300A1 (en) | 2015-06-28 | 2018-01-18 | Theradome, Inc. | Coaching, documenting, reporting, and managing scalp hair recovery with laser photo-therapy devices |
-
2019
- 2019-11-26 US US16/696,871 patent/US10999530B1/en active Active
-
2020
- 2020-11-23 CN CN202080081958.1A patent/CN114786565A/zh active Pending
- 2020-11-23 WO PCT/US2020/061831 patent/WO2021108320A1/en unknown
- 2020-11-23 EP EP20825351.8A patent/EP4064967A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030065526A1 (en) * | 2001-10-01 | 2003-04-03 | Daniela Giacchetti | Historical beauty record |
US20090054744A1 (en) * | 2005-04-28 | 2009-02-26 | Naomi Kitamura | Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program |
US20140313303A1 (en) * | 2013-04-18 | 2014-10-23 | Digimarc Corporation | Longitudinal dermoscopic study employing smartphone-based image registration |
Also Published As
Publication number | Publication date |
---|---|
US20210160436A1 (en) | 2021-05-27 |
WO2021108320A1 (en) | 2021-06-03 |
EP4064967A1 (en) | 2022-10-05 |
US10999530B1 (en) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102362544B1 (ko) | 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 | |
RU2762142C1 (ru) | Способ и устройство для определения ключевой точки лица, компьютерное устройство и носитель данных | |
CN110874557B (zh) | 一种语音驱动虚拟人脸的视频生成方法以及装置 | |
KR101632819B1 (ko) | 무인 이미지 캡쳐를 위한 방법 및 장치 | |
EP3742333A1 (en) | Image processing method and apparatus, and computer device and storage medium | |
WO2015074476A1 (zh) | 一种图像处理方法、装置和存储介质 | |
JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
WO2018012136A1 (ja) | メイクアップ支援装置およびメイクアップ支援方法 | |
US11388388B2 (en) | System and method for processing three dimensional images | |
Berger et al. | GazeAlyze: a MATLAB toolbox for the analysis of eye movement data | |
CN114786565A (zh) | 用于生成个人外观方面的变化的时间序列图像的技术 | |
EP3154407A1 (en) | A gaze estimation method and apparatus | |
JP5949030B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
Chen et al. | Neckface: Continuously tracking full facial expressions on neck-mounted wearables | |
JPWO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
US20160217565A1 (en) | Health and Fitness Monitoring via Long-Term Temporal Analysis of Biometric Data | |
US20210306557A1 (en) | Selfie setup and stock videos creation | |
Saxena et al. | Towards efficient calibration for webcam eye-tracking in online experiments | |
US20130076792A1 (en) | Image processing device, image processing method, and computer readable medium | |
US20230334907A1 (en) | Emotion Detection | |
KR101507410B1 (ko) | 모바일 단말의 라이브 메이크업 촬영 방법 및 장치 | |
US20210201492A1 (en) | Image-based skin diagnostics | |
US20220335252A1 (en) | Method and system for anonymizing facial images | |
RU2703327C1 (ru) | Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя | |
CN111178151A (zh) | 基于ai技术实现人脸微表情变化识别的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |