CN115428436A - 信息处理装置、合成视频的生成方法和程序 - Google Patents

信息处理装置、合成视频的生成方法和程序 Download PDF

Info

Publication number
CN115428436A
CN115428436A CN202180029874.8A CN202180029874A CN115428436A CN 115428436 A CN115428436 A CN 115428436A CN 202180029874 A CN202180029874 A CN 202180029874A CN 115428436 A CN115428436 A CN 115428436A
Authority
CN
China
Prior art keywords
subject
region
unit
effect
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029874.8A
Other languages
English (en)
Inventor
菅野尚子
广田洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115428436A publication Critical patent/CN115428436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)

Abstract

被摄体强调装置(20a)(信息处理装置)中的可见光运动图像获取单元(31)(第一获取单元部)获取包括被摄体(92)和背景的运动图像，并且被摄体区域提取单元(33)从运动图像中提取被摄体(92)的区域。然后，背景呈现单元(37)在运动图像中除了被摄体(92)的区域之外的区域中呈现背景信息(94)。效果应用单元(36)基于视频效果作用于被摄体(92)的区域的强度使视频效果作用于被摄体(92)的区域，该强度由效果强度计算单元(35)根据从相机到被摄体(92)的距离(关于运动图像获取环境的信息)确定。视频组合单元(38)将效果应用单元(36)已经使视频效果作用于其上的被摄体(92)的区域与由背景呈现单元(37)呈现的背景信息(94)组合，以生成合成视频(95)。

Description

信息处理装置、合成视频的生成方法和程序
技术领域
本公开内容涉及信息处理装置、合成视频的生成方法和程序。
背景技术
已知传统的色度键合成将视频的具有特定颜色分量并且变得透明的部分与另一视频组合。具体地，在安装了绿色背景屏幕的工作室中执行拍摄，并且将具有除了绿色之外的颜色的区域确定为前景(例如，被摄体)并提取该区域。
然而，难以在音乐会场地的舞台上安装绿色背景屏幕。另外，因为光环境由于用于指引的聚光灯、烟花、激光束等而极大地改变，因此难以在现场场地提取前景。
针对这样的问题，例如专利文献1提出了使用红外线的前景提取技术。
引文列表
专利文献
专利文献1：JP 2000-23038A
概要
技术问题
然而，在专利文献1中，描述了将提取的前景与任何背景组合，但是没有描述将正在实时地应用效果的前景与背景组合以增加视觉效果。
本公开内容提出了被配置成实时地将效果应用于具有任何背景的提取的前景的信息处理装置、合成视频的生成方法和程序。
问题的解决方案
为了解决上述问题，根据本公开内容的实施方式的信息处理装置包括：第一获取单元，其获取包括被摄体和背景的运动图像；被摄体区域提取单元，其从由第一获取单元获取的运动图像中提取被摄体的区域；背景绘制单元，其在由第一获取单元获取的运动图像中除了被摄体的区域之外的区域中绘制背景信息；效果应用单元，其基于根据关于获取运动图像的环境的信息确定的、应用于被摄体的区域的效果的强度，将效果应用于被摄体的区域；以及视频合成单元，其生成合成视频，在合成视频中，由效果应用单元应用了效果的被摄体的区域与由背景绘制单元绘制的背景信息组合。
附图说明
图1是示出根据第一实施方式的被摄体强调系统的示意性配置的框图。
图2是示出被摄体强调系统的硬件配置的示例的硬件框图。
图3是示出根据第一实施方式的被摄体强调装置的功能配置的示例的功能框图。
图4是RGB相机、IR相机和IR灯的安装状态的示例性外部视图。
图5是示出由被摄体区域提取单元执行的被摄体区域提取处理的过程的图。
图6是示出在生成合成视频的处理中生成的图像的示例的图。
图7是示出由效果应用单元应用的效果的示例的图。
图8是示出由RGB相机观察到的被摄体的位置与由IR相机观察到的被摄体的位置之间的差的大小根据拍摄距离的改变的图。
图9是示出根据第一实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。
图10是示出根据第一实施方式的修改的被摄体强调装置的功能配置的示例的功能框图。
图11是示出RGB-IR相机的示意性结构的图。
图12是示出根据第二实施方式的被摄体强调装置的功能配置的示例的功能框图。
图13是示出根据第二实施方式的由被摄体区域提取单元执行的被摄体区域提取处理的过程的图。
图14是示出根据第二实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。
图15是示出根据第二实施方式的修改的被摄体强调装置的功能配置的示例的功能框图。
图16是示出根据第二实施方式的修改的由被摄体强调装置执行的处理的过程的示例的流程图。
图17是示出根据第三实施方式的被摄体强调装置的功能配置的示例的功能框图。
图18是示出根据第三实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。
具体实施方式
下面将参照附图详细描述本公开内容的实施方式。注意，在以下实施方式中，相同的部分由相同的附图标记和符号表示，并且将省略其重复描述。
此外，将按照以下示出的项的顺序来描述本公开内容。
1.第一实施方式
1-1.被摄体强调系统的配置
1-2.被摄体强调系统的硬件配置
1-3.被摄体强调装置的功能配置
1-4.被摄体区域提取处理的描述
1-5.视觉效果的描述
1-6.效果强度的计算
1-7.由被摄体强调装置执行的处理的过程
1-8.第一实施方式的效果
1-9.第一实施方式的修改
1-10.第一实施方式的修改的效果
2.第二实施方式
2-1.被摄体强调装置的功能配置
2-2.被摄体区域提取处理的描述
2-3.效果强度的计算
2-4.由被摄体强调装置执行的处理的过程
2-5.第二实施方式的效果
2-6.第二实施方式的修改
2-7.第二实施方式的修改的效果
3.第三实施方式
3-1.被摄体强调装置的功能配置
3-2.由被摄体强调装置执行的处理的过程
3-3.第三实施方式的效果
(1.第一实施方式)
[1-1.被摄体强调系统的配置]
首先，将参照图1描述应用本公开内容的被摄体强调系统10a的概述。图1是示出根据第一实施方式的被摄体强调系统的示意性配置的框图。
如图1所示，被摄体强调系统10a包括RGB相机12、IR相机13、IR灯14、被摄体强调装置20a和LED面板15。
被摄体强调系统10a从背景中提取由RGB相机12捕获的被摄体。然后，将视觉效果应用于提取的被摄体的区域，并且然后将提取的被摄体的区域与原始背景或另一背景组合。注意，在本公开内容中，被摄体的区域可以表示整个被摄体或被摄体的一部分。例如，可以将除了被摄体的主体的一部分(例如脚趾和头发)之外的区域定义为被摄体的区域。此外，视觉效果是本公开内容中的效果的示例。
RGB相机12是捕获舞台90上的被摄体92的相机。RGB相机12对可见光敏感。
IR相机13是捕获基本上等于RGB相机12的范围的范围并对作为不可见光的红外线(例如，800nm至900nm的波长范围)敏感的红外相机。IR相机13捕获舞台90上的被摄体92。注意，RGB相机12与IR相机13之间的相对位置关系是通过预先执行校准来获取的。
IR灯14是照射IR相机13的拍摄范围的红外灯。注意，IR灯14具有发射波长，其光包括IR相机13所敏感的波长区域中的大量光。IR灯14包括例如具有大约800nm至900nm的发射波长的红外发光二极管(LED)。
被摄体强调装置20a从由RGB相机12捕获的视频和由IR相机13捕获的视频中的每一个中提取每个被摄体92的区域。此外，被摄体强调装置20a将视觉效果应用于提取的被摄体92的区域。此外，被摄体强调装置20a将应用视觉效果的被摄体92的区域与由RGB相机12捕获的视频中除了被摄体92的区域之外的区域(背景)组合，并且生成合成视频。这里，背景可直接使用由RGB相机12捕获的视频中除了被摄体92之外的区域，或者可以使用应用其他信息的区域。注意，被摄体强调装置20a是本公开内容中的信息处理装置的示例。
LED面板15是安装在舞台90的后面即在被摄体92的背后、并且其上竖直地和水平地排列有多个LED的显示面板。LED面板15显示从被摄体强调装置20a输出的合成视频95。在合成视频95中，应用视觉效果的被摄体93与应用于由RGB相机12捕获的视频中除了被摄体92的区域之外的区域的背景信息94组合。这种配置使得观看舞台90的观众可以观看被摄体92的表演和包括应用视觉效果的被摄体93、显示在LED面板15上的合成视频95两者。注意，LED面板15具有低反射率的表面，抑制了来自IR灯14的照射光的反射以及照射舞台90的照射光。这种配置使得可以增强在LED面板15上显示的合成视频95的可视性。因此，这种配置使得观众可以同时观看舞台90上的被摄体92和在LED面板15上显示的合成视频95，从而提高舞台效果。
注意，被摄体强调装置20a可以将合成视频95发送至与舞台90不同的另一地方。这种配置使得可以在另一地方实时地观看合成视频95。
[1-2.被摄体强调系统的硬件配置]
接下来，将参照图2描述被摄体强调系统10a的硬件配置。图2是示出被摄体强调系统的硬件配置的示例的硬件框图。
被摄体强调系统10a包括中央处理单元(CPU)21、只读存储器(ROM)22、随机存取存储器(RAM)23、存储单元24和输入/输出控制器25，它们经由内部总线26彼此连接。
存储在存储单元24中的控制程序和存储在ROM 22中的各种数据文件被加载到RAM23上并由CPU 21执行，并且因此控制被摄体强调系统10a的整个操作。换言之，被摄体强调系统10a具有由控制程序操作的通用计算机的配置。注意，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供控制程序。此外，在被摄体强调系统10a中，可以由硬件执行一系列处理步骤。注意，由CPU 21执行的控制程序可以是按照本公开内容中描述的顺序按时间序列执行处理的程序，或者可以是并行或以必要的定时(例如，在被调用时)执行处理的程序。
存储单元24包括例如闪存，并且存储由CPU 21执行的控制程序等。
输入/输出控制器25连接CPU 21和各种输入/输出装置以输入/输出信息。
作为连接至输入/输出控制器25的输入/输出装置的RGB相机12、IR相机13、IR灯14和LED面板15的功能如上所述。注意，对于输入/输出控制器25，诸如操作者通过其向被摄体强调装置20a给出操作指令的键盘的输入装置、监视被摄体强调装置20a的状态的监视器装置、以及根据需要将由被摄体强调装置20a输出的合成视频95发送至外部的通信装置。
[1-3.被摄体强调装置的功能配置]
接下来，将参照图3描述被摄体强调装置20a的功能配置。图3是示出根据第一实施方式的被摄体强调装置的功能配置的示例的功能框图。被摄体强调装置20a的CPU 21将控制程序加载到RAM 23上并运行控制程序以实现图3中示出的各个功能单元。
换言之，被摄体强调装置20a的CPU 21作为功能单元实现可见光运动图像获取单元31、红外运动图像获取单元32、被摄体区域提取单元33、拍摄距离计算单元34、效果强度计算单元35、效果应用单元36、背景绘制单元37、视频合成单元38和显示控制单元39。
可见光运动图像获取单元31获取由RGB相机12捕获的视频信号以获取包括被摄体92和背景的RGB视频(运动图像)。注意，可见光运动图像获取单元31是本公开内容中的第一获取单元的示例。
红外运动图像获取单元32与可见光运动图像获取单元31获取运动图像的定时同步地、以开启IR灯14的定时获取由IR相机13捕获的视频信号，从而获取包括被摄体92和背景的IR视频(运动图像)。注意，红外运动图像获取单元32是本公开内容中的第二获取单元的示例。
被摄体区域提取单元33从由可见光运动图像获取单元31获取的RGB视频中提取被摄体92的区域。
拍摄距离计算单元34计算当捕获由红外运动图像获取单元32获取的IR视频时的拍摄距离，即，从IR相机13至被摄体92的距离。注意，拍摄距离计算单元34可以计算从RGB相机12至被摄体92的距离。在本公开内容中，拍摄距离是获取运动图像的环境的示例。
效果强度计算单元35根据关于获取由可见光运动图像获取单元31获取的RGB视频的环境的信息，计算应用于由被摄体区域提取单元33从由可见光运动图像获取单元31获取的RGB视频中提取的被摄体92的区域的视觉效果的强度。
效果应用单元36基于由效果强度计算单元35计算的强度将视觉效果应用于被摄体92的区域，该被摄体92的区域由被摄体区域提取单元33提取。
背景绘制单元37在由可见光运动图像获取单元31获取的RGB视频中，在除了被摄体92的区域之外的区域中绘制背景信息94。背景信息94可以是实况视频或计算机图形(CG)视频。此外，可以使用图像而不是视频。此外，可以将多个背景信息94应用并绘制到通过例如竖直划分、水平划分或倾斜划分而获得的背景的一半区域。
视频合成单元38生成合成视频95，其中将由效果应用单元36应用视觉效果的被摄体92的区域与由背景绘制单元37绘制的背景信息94组合。
显示控制单元39使LED面板15显示由视频合成单元38生成的合成视频95。注意，显示控制单元39是本公开内容中的图像显示单元的示例。
[1-4.被摄体区域提取处理的描述]
接下来，将参照图4至图6描述由被摄体区域提取单元33执行的被摄体区域提取处理的内容。图4是RGB相机、IR相机和IR灯的安装状态的示例性外部视图。图5是示出由被摄体区域提取单元执行的被摄体区域提取处理的过程的图。图6是示出在生成合成视频的处理中生成的图像的示例的图。
RGB相机12和IR相机13被安装在彼此接近的位置处，面向基本上相同的方向。换言之，RGB相机12和IR相机13拍摄基本上相同的范围。然后，IR灯14被安装在IR相机13的附近。IR灯14包括例如照射IR相机13的拍摄范围的多个红外LED。在图4的示例中，IR灯14被结合在其上安装有RGB相机12和IR相机13的相机支架11中。注意，可以安装具有图4的配置的多个相机以包围被摄体92，获取所谓的体积视频。注意，在相机被安装成包围被摄体92的情况下，被定位在对角线方向上的相机期望地在不同时间捕获图像。这是因为通过被定位在对角线方向上的相机同时捕获图像会由于来自被定位在对角线方向上的IR灯14的光而产生噪声。
如图5所示，RGB相机12和IR相机13彼此同步地捕获图像。由可见光运动图像获取单元31获取由RGB相机12捕获的RGB视频(运动图像)(图6中的图像Ia)。此外，由红外运动图像获取单元32获取由IR相机13捕获的IR视频(运动图像)(图6中的图像Ib)。注意，以下描述的处理是针对获取的每个图像执行的，并且因此，将对图像而不是运动图像进行描述。
被摄体区域提取单元33根据图5中示出的过程，从由可见光运动图像获取单元31获取的RGB图像中提取被摄体92的区域。更具体地，被摄体区域提取单元33从由红外运动图像获取单元32获取的IR图像中提取被摄体92的区域，并且从由可见光运动图像获取单元31获取的RGB图像中提取与被摄体92的区域对应的区域。
首先，被摄体区域提取单元33计算由红外运动图像获取单元32获取的IR图像与由IR相机13在IR灯14开启的情况下捕获的没有被摄体92的背景图像之间的差(背景差33a)。被摄体92的区域具有比背景图像的红外反射率高的红外反射率，并且因此在观察时，在由红外运动图像获取单元32获取的IR图像中看起来更亮。因此，背景差33a提供了这样的IR图像，该IR图像是被摄体92的区域被明亮地强调的图像。
接下来，被摄体区域提取单元33在计算背景差33a之后对IR图像执行阈值化33b。阈值化33b是仅提取具有指示高于预设阈值的亮度的像素值的像素的处理。通过阈值化33b提取与被摄体象92的区域对应的区域(掩模)。
在阈值化33b中提取的区域通常包括噪声，并且因此，被摄体区域提取单元33执行噪声去除33c。例如，通过去除面积等于或小于预定阈值的孤立区域来执行噪声去除33c。
此外，被摄体区域提取单元33执行形态学操作33d。形态学操作33d是对二值图像执行的处理，例如填充例如在区域中生成的孔的处理。形态学操作33d提供图6中示出的图像Ic。
接下来，被摄体区域提取单元33执行扭曲33e。扭曲33e是移动图像中指定的特征点的位置以变换成另一图像(单应变换)的处理。具体地，使用预先获取的校准信息来预测从由IR相机13捕获的IR图像中提取的被摄体92的区域的位置和形状在由RGB相机12捕获的RGB图像中如何出现。扭曲33e提供了图6中示出的图像Id。
同时，被摄体区域提取单元33对由RGB相机12捕获的RGB图像执行去马赛克33f。去马赛克33f例如是校正图像的亮度的处理。
然后，背景绘制单元37在通过扭曲33e确定的被摄体92的区域(掩模)之外的区域中绘制背景信息94(图6中的图像Ie)。
然后，视频合成单元38将由背景绘制单元37绘制的背景信息94与经受由被摄体区域提取单元33进行的去马赛克的、由RGB相机12捕获的图像组合。以这种方式，生成了这样的合成视频95(图6中的图像If)，其中由RGB相机12捕获的可见光图像，即被摄体92的图像在背景信息94中在与被摄体92的区域对应的位置处组合。
然后，显示控制单元39使LED面板15显示合成视频95。
[1-5.视觉效果的描述]
接下来，将参照图7描述由效果应用单元36应用的视觉效果。图7是示出由效果应用单元应用的效果的示例的图。
被摄体强调装置20a将各种视觉效果应用于提取的被摄体92的区域。因此，生成了应用视觉效果的被摄体93的视频图像。尽管视觉效果的类型不受限制，但是在图7中示出了其示例。
视觉效果E1用于模糊被摄体92的轮廓的边缘。视觉效果E1提供使被摄体92的区域的提取中的误差不明显的效果。
视觉效果E2用于输出被摄体92的剪影。视觉效果E2提供强调被摄体92的形状的效果。
视觉效果E3用于改变被摄体92的轮廓的边缘的颜色或亮度。视觉效果E3提供强调被摄体92的效果。
视觉效果E4用于显示被摄体92的轮廓周围的移动的粒子。视觉效果E4提供强调被摄体92的轮廓的效果。
视觉效果E5用于通过传播在先前帧中提取的被摄体92的轮廓来表达被摄体92的移动轨迹。视觉效果E5提供强调被摄体92的运动的效果。
注意，视觉效果的类型不限于图7中示出的这些。例如，可以应用诸如模糊整个被摄体92的区域或改变被摄体92的区域的颜色的效果。
[1-6.效果强度的计算]
接下来，将参照图8描述由效果强度计算单元35执行的视觉效果的强度的计算。图8是示出由RGB相机观察到的被摄体的位置与由IR相机观察到的被摄体的位置之间的差的大小根据拍摄距离的改变的图。
RGB相机12和IR相机13被放置在彼此分开的位置处。因此，视差ε出现在由相应相机捕获的被摄体92的位置中。因此，被摄体强调装置20a预先执行校准，并且获取RGB相机12与IR相机13之间的位置关系。
通常，通过由RGB相机12和IR相机13同时获取被摄体92的图像——其中被摄体92被布置在舞台90上的预定位置处，并且分析由两个相机获取的被摄体92的位置的位移(视差ε)，来执行校准。在校准中，估计相机的内部参数和外部参数。更具体地，对于校准，使用其上具有网格图案并由被摄体92保持的校准板，并且通过将由RGB相机12观察到的校准板上的网格的位置与由IR相机13观察到的校准板上的网格的位置相关联来执行校准。
在图8中，假设在被摄体92位于位置P0(相机与被摄体92之间的距离D＝D0)时执行校准。另外，假设此时视差ε为ε＝ε0。
当被摄体92从执行校准的位置移动时，视差ε与当执行校准时的视差不同，并且从RGB相机12获取的RGB图像不能与从IR相机13获取的IR图像准确地对准。
例如，假设被摄体92从执行校准的位置接近相机并且移动至位置P1(相机与被摄体92之间的距离D＝D1)。此时，由RGB相机12和IR相机13捕获的图像之间的被摄体92的视差ε＝ε1大于在执行校准的位置P0中的视差ε＝ε0。换言之，满足ε1＞ε0。因此，即使使用通过校准获得的信息，也不能准确地提取被摄体92的区域。
同时，假设被摄体92从执行校准的位置在离开相机的方向上移动，并且移动至位置P2(相机与被摄体92之间的距离D＝D2)。此时，由RGB相机12和IR相机13捕获的图像之间的被摄体92的视差ε＝ε2小于在执行校准的位置P0中的视差ε＝ε0。换言之，满足ε2＜ε0。因此，即使使用通过校准获得的信息，也不能准确地提取被摄体92的区域。
效果强度计算单元35根据相机与被摄体92之间的距离(拍摄距离)设置视觉效果的强度。具体地，当拍摄距离短于预定距离时，即，当被摄体92比执行校准的位置近时(当被摄体92位于视差ε大于执行校准的位置中的视差的位置时)，应用强度高于当被摄体92位于执行校准的位置处时应用的视觉效果的强度的视觉效果。这种配置使得在提取被摄体92的区域时引起的位置位移不明显。注意，视觉效果的较高强度意味着例如应用诸如使被摄体92周围的边缘大大模糊的较强视觉效果。
另一方面，当拍摄距离长于预定距离时，即，当被摄体92位于比执行校准的位置远的位置时(当被摄体92位于视差ε小于执行校准的位置中的视差的位置处时)，优选地应用强度等于或小于当被摄体92位于执行校准的位置处时应用的视觉效果的强度的视觉效果。
这里，例如，由拍摄距离计算单元34基于从由IR相机13拍摄的红外图像中提取的被摄体92的区域的尺寸(高度)来计算相机与被摄体92之间的距离(拍摄距离)。注意，诸如飞行时间(TOF)传感器的距离测量单元可以被安装在RGB相机12或IR相机13附近，使得到被摄体92的区域的距离可以由距离测量单元测量。
[1-7.由被摄体强调装置执行的处理的过程]
将参照图9描述由被摄体强调装置20a执行的处理的过程。图9是示出根据第一实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。注意，图9的流程图示出了在用于获取RGB相机12与IR相机13之间的位置关系的校准之后执行的处理的过程。
可见光运动图像获取单元31和红外运动图像获取单元32在IR灯14开启的情况下同时获取RGB图像和IR图像(步骤S11)。
被摄体区域提取单元33从由红外运动图像获取单元32获取的IR图像中提取被摄体92的区域(步骤S12)。
拍摄距离计算单元34计算从IR相机13至被摄体92的拍摄距离(步骤S13)。
效果强度计算单元35基于在步骤S13中计算的拍摄距离来计算视觉效果的强度(步骤S14)。
效果应用单元36将视觉效果应用于被摄体92的区域，以生成应用视觉效果的被摄体93的区域(步骤S15)。
背景绘制单元37生成并绘制背景信息94(步骤S16)。
视频合成单元38生成将背景信息94与应用视觉效果的被摄体93的区域组合的合成视频95(步骤S17)。
显示控制单元39使LED面板15显示合成视频95(步骤S18)。
可见光运动图像获取单元31确定是否处理了所有图像(步骤S19)。当确定处理了所有图像时(步骤S19：是)，被摄体强调装置20a完成图9的处理。另一方面，当没有确定处理了所有图像时(步骤S19：否)，处理返回到步骤S11。
[1-8.第一实施方式的效果]
如上所述，在根据第一实施方式的被摄体强调装置20a(信息处理装置)中，可见光运动图像获取单元31(第一获取单元)获取包括被摄体92和背景的RGB视频(运动图像)，并且被摄体区域提取单元33从由可见光运动图像获取单元31获取的运动图像中提取被摄体92的区域。然后，背景绘制单元37在由可见光运动图像获取单元31获取的运动图像中，在除了被摄体92的区域之外的区域中绘制背景信息94。效果应用单元36基于要应用于被摄体92的区域的视觉效果的强度将视觉效果应用于被摄体92的区域，该视觉效果的强度由效果强度计算单元35根据从相机至被摄体92的距离(关于获取运动图像的环境的信息)确定。视频合成单元38将由效果应用单元36应用了视觉效果的被摄体92的区域与由背景绘制单元37绘制的背景信息94组合，生成合成视频95。
这种配置使得可以从任何背景中提取被摄体92的区域，并且实时地应用视觉效果。此外，可以自然地示出被摄体92与背景信息94之间的边界。
此外，根据第一实施方式的被摄体强调装置20a(信息处理装置)，效果应用单元36基于效果的强度将效果应用于被摄体92的区域，该效果的强度由效果强度计算单元35根据由拍摄距离计算单元34计算的至被摄体92的拍摄距离确定。
这种配置使得可以当在提取被摄体92的区域时存在可能出现误差的可能性时，应用用于使错误不明显的视觉效果。
此外，根据第一实施方式的被摄体强调装置20a(信息处理装置)，在由拍摄距离计算单元34计算的拍摄距离短于校准时的拍摄距离(预定距离)的情况下，效果应用单元36增加视觉效果的强度，并且将视觉效果应用于被摄体92的区域。
这种配置使得可以当在提取被摄体92的区域时可能出现误差时，应用进一步使误差更不明显的视觉效果。
此外，根据第一实施方式的被摄体强调装置20a(信息处理装置)，红外运动图像获取单元32(第二获取单元)与可见光运动图像获取单元31(第一获取单元)同步地获取在从RGB相机12的预定相对位置处捕获的、发射至被摄体92的红外光(不可见光)的反射光的强度分布(IR图像)。然后，被摄体区域提取单元33将从由红外运动图像获取单元32获取的IR图像中提取的被摄体92的区域变换成预期要由可见光运动图像获取单元31获取的形状和位置，并且将变换后的区域应用于由可见光运动图像获取单元31实际获取的RGB图像，从而提取被摄体92的区域。
这种配置使得即使当周围光环境极大地改变时，也可以通过简单的处理来准确地提取被摄体92的区域。
此外，根据第一实施方式的被摄体强调装置20a(信息处理装置)，不可见光是红外光。
这种配置使得可以通过简单的处理来准确地提取被摄体92的区域，而不受周围光环境的影响。
此外，根据第一实施方式的被摄体强调装置20a(信息处理装置)，显示控制单元39(视频显示单元)使得显示来自视频合成单元38的合成视频95。
这种配置使得可以将应用视觉效果的被摄体93的区域与任何背景信息94组合。
此外，根据第一实施方式的被摄体强调装置20a(信息处理装置)，显示控制单元39(视频显示单元)在被摄体92的背后显示合成视频95。
这种结构使得观看者可以同时观看被摄体92和合成视频95。
此外，根据第一实施方式的被摄体强调装置20a(信息处理装置)，效果应用单元36将视觉效果应用于被摄体92的区域的外围。
这种配置使得可以有效地强调被摄体92。
[1-9.第一实施方式的修改]
接下来，将描述根据第一实施方式的修改的被摄体强调系统10b(未示出)。代替第一实施方式中描述的被摄体强调系统10a的被摄体强调装置20a，被摄体强调系统10b包括被摄体强调装置20b。
图10是示出根据第一实施方式的修改的被摄体强调装置的功能配置的示例的功能框图。
代替被摄体强调装置20a的拍摄距离计算单元34，被摄体强调装置20b包括视差预测单元40。视差预测单元40基于被摄体92的移动范围来预测被摄体92的实际位置与被摄体92的提取的结果之间的位移的最大值。
在第一实施方式中，被摄体强调装置20a已经基于通过校准预先获取的RGB相机12与IR相机13之间的位置关系来提取被摄体92的区域。使用在被摄体92静止在舞台90上的预定位置处的状态下同时捕获的成对RGB图像和IR图像来执行校准。因此，如在第一实施方式中所描述的，当被摄体92在舞台90上移动时，不能准确地提取被摄体92的区域。
然而，被摄体92的移动范围限于舞台90的范围，并且如果舞台90的尺寸预先已知，则可以估计由RGB相机12观察到的被摄体92与由IR相机13观察到的对象92之间的视差ε的范围。
在根据第一实施方式的修改的被摄体强调装置20b中，效果强度计算单元35基于由视差预测单元40预测的被摄体92的视差ε的最大值来计算视觉效果的强度。
更具体地，不管被摄体92的位置如何，效果强度计算单元35应用具有根据当被摄体92在舞台90上四处移动时预期出现的视差ε的最大值的强度的视觉效果。
换言之，当被摄体92位于视差ε最大的位置处时，应用使由被摄体强调装置20b提取的被摄体92的区域的位置位移不明显的视觉效果。因此，无论被摄体92在舞台90上的什么位置，均可以使被摄体92的区域的位置位移不明显。
尽管省略了对由被摄体强调装置20b执行的处理的过程的描述，但是在图9的流程图中，代替步骤S13，视差预测单元40基于通过校准获取的信息和舞台90的尺寸来执行计算视差ε的最大值的处理。然后，在步骤S14中，效果强度计算单元35基于视差ε的最大值来计算视觉效果的强度。否则，处理的步骤与图9中示出的处理的步骤相同。另外，这些步骤不需要对每个图像执行，并且优选地在开始时仅执行一次。
[1-10.第一实施方式的修改的效果]
如上所述，根据第一实施方式的修改的被摄体强调装置20b(信息处理装置)，效果应用单元36将根据被摄体92的实际位置与被摄体92的提取的结果之间的视差ε(位移)的最大值的视觉效果应用于被摄体92的区域，该最大值由视差预测单元40基于被摄体92的移动范围来预测。
这种配置使得即使当被摄体92在舞台90上移动时，也可以使被摄体92的区域的位置位移不明显。此外，在处理第一图像时只需计算一次视觉效果的强度，从而提供高速处理。
(2.第二实施方式)
第一实施方式中描述的被摄体强调系统10a包括两个相机(RGB相机12和IR相机13)，导致相机之间的安装的位置位移，从而需要校准。根据第二实施方式的被摄体强调系统10c(未示出)包括RGB-IR相机16(参见图11)，其中RGB相机12和IR相机13被集成到一个相机中。
在获取运动图像的环境的另一示例中，根据第二实施方式的被摄体强调系统10c(未示出)基于IR图像的处理时间与RGB图像的处理时间之间的差即处理时间的延迟来设置视觉效果的强度。
[2-1.被摄体强调装置的功能配置]
根据第二实施方式的被摄体强调系统10c包括RGB-IR相机16、IR灯14、被摄体强调装置20c和LED面板15。换言之，在图1中，RGB相机12和IR相机13被集成到RGB-IR相机16中，并且用被摄体强调装置20c代替被摄体强调装置20a。
首先，将参照图11描述RGB-IR相机16的结构。图11是示出RGB-IR相机的示意性结构的图。
图11示出了RGB-IR相机16的两种类型的结构。RGB-IR相机16a是包括被配置成同时检测可见光和红外光的成像元件17的相机。成像元件17具有这样的结构，其中对红外光具有敏感性的元件被结合在具有拜耳阵列的成像元件的一部分中。换言之，成像元件17包括对红外光具有敏感性的像素IR、以及用于生成RGB图像的像素R、像素G和像素B。因此，RGB-IR相机16a被配置成通过一个相机获取RGB图像和IR图像。在获取的RGB图像与IR图像之间不存在视差，并且因此，可以在不使用第一实施方式中描述的相机之间的相对位置关系的情况下对准RGB图像和IR图像。
在RGB-IR相机16b中，入射光的光路被分束器18划分成两个，并且可见光成像元件19a和红外成像元件19b被布置在划分的光路前面。分束器18具有两个直角棱镜彼此接合的结构。
接下来，将参照图12描述被摄体强调装置20c的功能配置。图12是示出根据第二实施方式的被摄体强调装置的功能配置的示例的功能框图。换言之，代替被摄体强调装置20a的可见光运动图像获取单元31和红外运动图像获取单元32，被摄体强调装置20c包括运动图像获取单元41。另外，代替被摄体区域提取单元33，提供了被摄体区域提取单元42。此外，代替拍摄距离计算单元34，提供了处理时间测量单元43。
运动图像获取单元41获取由RGB-IR相机16捕获的视频信号以获取包括被摄体92和背景的RGB视频(运动图像)。此外，运动图像获取单元41以开启IR灯14的定时获取由RGB-IR相机16捕获的视频信号，从而获取包括被摄体92和背景的IR视频(运动图像)。注意，运动图像获取单元41是本公开内容中的第一获取单元和第二获取单元的示例。
被摄体区域提取单元42从由运动图像获取单元41获取的RGB视频中提取被摄体92的区域。
处理时间测量单元43测量在由运动图像获取单元41(第一获取单元)获取运动图像之后的经过时间。
[2-2.被摄体区域提取处理的描述]
接下来，将参照图13描述由被摄体区域提取单元42执行的被摄体区域提取处理。图13是示出根据第二实施方式的由被摄体区域提取单元执行的被摄体区域提取处理的过程的图。
由运动图像获取单元41捕获由RGB-IR相机16捕获的RGB图像和IR图像。
被摄体区域提取单元42根据图13中示出的过程，从由运动图像获取单元41获取的RGB图像中提取被摄体92的区域。更具体地，被摄体区域提取单元42从由运动图像获取单元41获取的IR图像中提取被摄体92的区域，并且从由运动图像获取单元41获取的RGB图像中提取与被摄体92的区域对应的区域。
首先，被摄体区域提取单元42计算由运动图像获取单元41获取的IR图像与由RGB-IR相机16在IR灯14开启的情况下捕获的没有被摄体92的背景图像之间的差(背景差42a)。被摄体92的区域具有比背景图像的红外反射率高的红外反射率，并且因此在观察时，在由运动图像获取单元41获取的IR图像中看起来更亮。因此，背景差42a提供了这样的IR图像，该IR图像是被摄体92的区域被明亮地强调的图像。
接下来，被摄体区域提取单元42在计算背景差42a之后对IR图像执行阈值化42b。阈值化42b是仅提取具有指示高于预设阈值的亮度的像素值的像素的处理。通过阈值化42b提取与被摄体象92的区域对应的区域(掩模)。
通过阈值化42b提取的区域通常包括噪声，并且因此，被摄体区域提取单元42执行噪声去除42c。例如，通过去除面积等于或小于预定阈值的孤立区域来执行噪声去除42c。
此外，被摄体区域提取单元42执行形态学操作42d。形态学操作42d是对二值图像执行的处理，例如填充例如在区域中生成的孔的处理。尽管在第一实施方式中的形态学操作之后执行了扭曲33e，但是在本实施方式中RGB图像与IR图像之间没有视差，并且因此不需要扭曲。
同时，被摄体区域提取单元42对由RGB-IR相机16捕获的RGB图像执行去马赛克42e。去马赛克42e例如是校正图像的亮度的处理。
接下来，背景绘制单元37在通过形态学操作42d确定的除了被摄体92的区域(掩模)之外的区域中绘制背景信息94。
然后，视频合成单元38将由背景绘制单元37绘制的背景信息94与经受由被摄体区域提取单元42进行的去马赛克的RGB图像组合。以这种方式，生成了这样的合成视频95，其中由RGB-IR相机16捕获的可见光图像，即被摄体92的图像在背景信息94中在与被摄体92的区域对应的位置处组合。
[2-3.效果强度的计算]
接下来，将描述由被摄体强调装置20c执行的视觉效果的强度的计算。由被摄体区域提取单元42对IR图像执行以提取被摄体92的区域的处理在处理量上大于对RGB图像执行的处理。因此，对RGB图像的处理比对IR图像的处理更早结束。当对IR图像的处理所需的时间相对于对RGB图像的处理所需的时间的延迟在预先设置的预定时间内时，可以实时地(例如，以视频速率)继续处理。然而，当对IR图像的处理所需的时间增加时，无法继续实时处理，并且从IR图像中提取的被摄体92的区域与RGB图像中的被摄体92的实际区域之间出现差异。
当处理IR图像所需的时间相对于处理RGB图像所需的时间的延迟超过预定时间时，本实施方式的被摄体强调装置20c将视觉效果的强度设置得更强，从而使被摄体92的区域的位置位移不明显。更具体地，当由处理时间测量单元43测量的经过时间超过预定时间时，效果强度计算单元35取决于被摄体区域提取单元42是否完成了被摄体92的区域的提取来计算视觉效果的强度。
换言之，处理时间测量单元43测量运动图像获取单元41获取RGB图像和IR图像之后的经过时间，并且当经过时间超过预定时间时，应用具有较高强度的视觉效果。注意，将预定时间设置为期间被摄体区域提取单元42可以实时地(以视频速率)执行提取被摄体92的区域的处理的时间。
[2-4.由被摄体强调装置执行的处理的过程]
将参照图14描述由被摄体强调装置20c执行的处理的过程。图14是示出根据第二实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。
运动图像获取单元41获取RGB图像和IR图像(步骤S21)。
被摄体区域提取单元42开始被摄体92的区域的提取(步骤S22)。
处理时间测量单元43确定从获取图像起是否经过了预定时间(步骤S23)。当确定从获取图像起经过了预定时间时(步骤S23：是)，处理进行到步骤S24。另一方面，当未确定从获取图像起经过了预定时间时(步骤S23：否)，处理进行到步骤S27。
如果在步骤S23中为“是”，则被摄体区域提取单元42确定被摄体92的区域的提取是否完成(步骤S24)。当确定被摄体92的区域的提取完成时(步骤S24：是)，处理进行到步骤S28。另一方面，当未确定被摄体92的区域的提取完成时(步骤S24：否)，处理进行到步骤S25。
另一方面，如果在步骤S23中为“否”，则被摄体区域提取单元42确定被摄体92的区域的提取是否完成(步骤S27)。当确定被摄体92的区域的提取完成时(步骤S27：是)，处理进行到步骤S28。另一方面，当未确定被摄体92的区域的提取完成时(步骤S27：否)，处理返回到步骤S23。
返回到步骤S24，如果在步骤S24中为“否”，则被摄体区域提取单元42确定被摄体92的区域的提取是否完成(步骤S25)。当确定被摄体92的区域的提取完成时(步骤S25：是)，处理进行到步骤S26。另一方面，当未确定被摄体92的区域的提取完成时(步骤S25：否)，重复步骤S25。
如果在步骤S24或步骤S27中为“是”，则效果强度计算单元35将视觉效果设置为较低强度(步骤S28)。然后，处理进行到步骤S29。
如果在步骤S25中为“是”，则效果强度计算单元35将视觉效果设置为较高强度(步骤S26)。然后，处理进行到步骤S29。
在步骤S26或步骤S28之后，效果应用单元36将预设的视觉效果应用于被摄体92的区域(步骤S29)。
接下来，背景绘制单元37生成并绘制背景信息94(步骤S30)。
视频合成单元38生成将背景信息94与应用视觉效果的被摄体93的区域组合的合成视频95(步骤S31)。
显示控制单元39使LED面板15显示合成视频95(步骤S32)。
运动图像获取单元41确定是否处理了所有图像(步骤S33)。当确定处理了所有图像时(步骤S33：是)，被摄体强调装置20c完成图14的处理。另一方面，当没有确定处理了所有图像时(步骤S33：否)，处理返回到步骤S21。
[2-5.第二实施方式的效果]
如上所述，根据第二实施方式的被摄体强调装置20c(信息处理装置)，当由处理时间测量单元43测量的、从由运动图像获取单元41(第一获取单元)获取运动图像起的经过时间超过预定时间时，效果应用单元36基于取决于被摄体区域提取单元42是否完成了被摄体92的区域的提取而确定的视觉效果的强度，将视觉效果应用于被摄体92的区域。
这种配置使得即使在提取被摄体92的区域需要时间时，也可以使合成视频95中的被摄体92的区域的位置位移不明显。
此外，根据第二实施方式的被摄体强调装置20c(信息处理装置)，如果当由处理时间测量单元43测量的经过时间超过预定时间时被摄体区域提取单元42没有完成被摄体92的区域的提取，则效果应用单元36增加视觉效果的强度，并且将视觉效果应用于被摄体92的区域。
这种配置使得当提取被摄体92的区域需要时间时，可以应用增加的视觉效果，并且使得合成视频95中的被摄体92的区域的位置位移不明显。
[2-6.第二实施方式的修改]
接下来，将描述根据第二实施方式的修改的被摄体强调系统10d(未示出)。代替第二实施方式中描述的被摄体强调装置20c，被摄体强调系统10d包括被摄体强调装置20d。
在被摄体强调系统10d中，由舞台90上的聚光灯、舞台90上的烟花等引起的光环境的突然改变触发视觉效果的开启/关闭的控制。
传统的视觉效果的开启/关闭是基于预定时间表来控制的，这需要麻烦的先前设置。同时，被摄体强调系统10d被配置成开启/关闭视觉效果，而无需预先设置视觉效果的开启/关闭时间。
具体地，当由运动图像获取单元41获取的IR图像中亮度超过预定亮度的像素的数目超过预定值时，被摄体强调装置20d确定发生了光环境的突然改变(发射了大量的红外光)，并且开启或关闭视觉效果。
接下来，将参照图15描述被摄体强调装置20d的功能配置。图15是示出根据第二实施方式的修改的被摄体强调装置的功能配置的示例的功能框图。
被摄体强调装置20d除了被摄体强调装置20c的功能部件之外，还包括触发信息检测单元44和效果开启/关闭控制单元45。触发信息检测单元44对由运动图像获取单元41(第二获取单元)获取的IR图像中亮度等于或大于预定值的像素的数目进行计数。
效果开启/关闭控制单元45根据由触发信息检测单元44计数的像素的数目，切换是否应用视觉效果，即，是直接输出由运动图像获取单元41获取的RGB图像，还是从视频合成单元38输出合成视频95。注意，效果开启/关闭控制单元45是本公开内容中的切换单元的示例。
接下来，将参照图16描述由被摄体强调装置20d执行的处理的过程。图16是示出根据第二实施方式的修改的由被摄体强调装置执行的处理的过程的示例的流程图。
运动图像获取单元41获取RGB图像和IR图像(步骤S41)。
被摄体区域提取单元42提取被摄体92的区域(步骤S42)。
触发信息检测单元44确定获取的IR图像中亮度等于或大于预定亮度的像素的数目是否等于或大于预定值(步骤S43)。当确定IR图像中亮度等于或大于预定亮度的像素的数目等于或大于预定值时(步骤S43：是)，处理进行到步骤S44。另一方面，当没有确定IR图像中亮度等于或大于预定亮度的像素的数目等于或大于预定值时(步骤S43：否)，处理进行到步骤S45。
如果在步骤S43中为“是”，则效果开启/关闭控制单元45停止视觉效果的应用(步骤S44)。然后，处理进行到步骤S47。
另一方面，如果在步骤S43中为“否”，则效果强度计算单元35根据被摄体92的区域的提取的延迟设置视觉效果的强度(步骤S45)。
然后，效果应用单元36应用视觉效果(步骤S46)。
接下来，背景绘制单元37生成并绘制背景信息94(步骤S47)。
视频合成单元38生成将背景信息94与应用视觉效果的被摄体93的区域组合的合成视频95(步骤S48)。
显示控制单元39使LED面板15显示合成视频95(步骤S49)。
运动图像获取单元41确定是否处理了所有图像(步骤S50)。当确定处理了所有图像时(步骤S50：是)，被摄体强调装置20d完成图16的处理。另一方面，当没有确定处理了所有图像时(步骤S50：否)，处理返回到步骤S41。
注意，在流程图中，已经描述了聚光灯或烟花触发视觉效果的关闭的示例，但是相对地，聚光灯或烟花可以触发视觉效果的开启。另外，也可以通过使用被配置成投射图案光的投射器给予聚光灯，来仅在图案光被发射至的区域中开启/关闭视觉效果。
注意，还可以根据现场场地的兴奋状态来确定聚光灯的定时。换言之，例如，可以由安装在现场场地中的噪声计测量声压，以基于声压达到预定声压来给予聚光灯。这种配置使得可以通过链接至现场场地的兴奋度来控制视觉效果的开启/关闭，因此进一步增强舞台效果。
此外，被摄体92的预定运动可以触发聚光灯。可以通过例如稍后描述的方法(第三实施方式)检测被摄体92的预定运动。
[2-7.第二实施方式的修改的效果]
如上所述，根据第二实施方式的修改的被摄体强调装置20d(信息处理装置)，效果开启/关闭控制单元45(切换单元)根据由触发信息检测单元44计数的、由运动图像获取单元41(第二获取单元)获取的IR图像中亮度等于或大于预定值的像素的数目，来切换是否应用视觉效果。
这种配置使得可以简单且可靠地执行视觉效果的开启/关闭控制，而无需预先设置用于执行效果的开启/关闭控制的时间。
(3.第三实施方式)
根据第三实施方式的被摄体强调系统10e(未示出)检测提取的被摄体92的运动，并且根据检测的运动设置背景信息94组合至的区域。
代替第一实施方式中描述的被摄体强调系统10a的被摄体强调装置20a，被摄体强调系统10e包括被摄体强调装置20e。
[3-1.被摄体强调装置的功能配置]
首先，将参照图17描述被摄体强调装置20e的功能配置。图17是示出根据第三实施方式的被摄体强调装置的功能配置的示例的功能框图。
被摄体强调装置20e具有在第一实施方式中描述的被摄体强调装置20a(参见图3)中添加了运动检测单元46和被摄体合成位置设置单元47的功能配置。
运动检测单元46检测被摄体92的运动。具体地，运动检测单元46通过检测例如由被摄体区域提取单元33在不同时间提取的被摄体92的区域的光流(运动矢量)，来检测运动的幅度和运动的方向。
被摄体合成位置设置单元47基于由运动检测单元46检测到的被摄体92的运动，来设置将由效果应用单元36应用视觉效果的被摄体93的区域与由背景绘制单元37绘制的背景信息94组合的位置。具体地，被摄体合成位置设置单元47基于被摄体92的运动的幅度和运动的方向，来设置要与背景信息94组合的被摄体92的位置(准确地说，其上应用了视觉效果的被摄体93的位置)。注意，被摄体合成位置设置单元47是本公开内容中的合成位置设置单元的示例。
[3-2.由被摄体强调装置执行的处理的过程]
接下来，将参照图18描述由被摄体强调装置20e执行的处理的过程。图18是示出根据第三实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。注意，图18的流程图示出了在用于获取RGB相机12与IR相机13之间的位置关系的校准之后执行的处理的过程。
可见光运动图像获取单元31和红外运动图像获取单元32在IR灯14开启的情况下同时获取RGB图像和IR图像(步骤S51)。
被摄体区域提取单元33从由红外运动图像获取单元32获取的IR图像中提取被摄体92的区域(步骤S52)。
运动检测单元46检测被摄体92的运动(步骤S53)。
被摄体合成位置设置单元47计算被摄体92要与背景信息94组合的区域，即背景合成区域(步骤S54)。
注意，步骤S55至步骤S61与第一实施方式中描述的从步骤S13至步骤S19的过程相同(参见图9)，并且因此省略其描述。
[3-3.第三实施方式的效果]
如上所述，根据第三实施方式的被摄体强调装置20e(信息处理装置)，被摄体合成位置设置单元47(合成位置设置单元)基于由运动检测单元46检测到的被摄体92的运动，来设置将由效果应用单元36应用视觉效果的被摄体93的区域与由背景绘制单元37绘制的背景信息94组合的区域。
这种配置使得可以当被摄体92具有运动时，通过简单的处理来确定要与背景信息94组合的被摄体92的位置。特别地，可以减少检测被摄体92的区域所需的处理时间，以进行高速处理。
尽管已经根据若干实施方式描述了本公开内容，但是这些实施方式可以由任何装置来实现。装置优选地具有必要的功能块以获得必要的信息。
此外，例如，一个流程图的各个步骤可以由一个装置执行，或者可以由多个装置执行。此外，当单个步骤包括多个处理时，多个处理可以由一个装置执行或者可以由多个装置执行。换言之，单个步骤中包括的多个处理也可以作为包括多个步骤的处理来执行。相反，被描述为多个步骤的处理可以作为单个步骤共同执行。
此外，例如，在由计算机执行的程序中，描述程序的步骤的处理可以沿本说明书中的描述按时间顺序执行，可以并行执行，或者可以在诸如调用的必要定时处单独执行。换言之，可以在一致的范围内以与上述顺序不同的顺序来执行各个步骤的处理。此外，描述程序的处理步骤可以与另一程序的处理并行或组合执行。
此外，例如，只要不存在矛盾，本说明书中描述的多个本技术中的每一个可以独立地实现为单个技术。当然，多个任意的本技术可以彼此组合来实现。例如，在任何实施方式中描述的本技术的部分或全部可以与在另一实施方式中描述的本技术的部分或全部组合实现。此外，上述任何本技术的部分或全部可以与上面未描述的另一技术组合实现。
应当注意，本文中描述的效果仅仅是示例，并且本发明不限于这些效果并且可以具有其他效果。本公开内容的实施方式不限于上述实施方式，并且在不脱离本公开内容的精神和范围的情况下可以进行各种修改和变更。
注意，本公开内容还可以具有以下配置。
(1)
一种信息处理装置，包括：
第一获取单元，所述第一获取单元获取包括被摄体和背景的运动图像；
被摄体区域提取单元，所述被摄体区域提取单元从由所述第一获取单元获取的运动图像中提取所述被摄体的区域；
背景绘制单元，所述背景绘制单元在由所述第一获取单元获取的运动图像中除了所述被摄体的区域之外的区域中绘制背景信息；
效果应用单元，所述效果应用单元基于根据关于获取所述运动图像的环境的信息确定的、应用于所述被摄体的区域的效果的强度，将所述效果应用于所述被摄体的区域；以及
视频合成单元，所述视频合成单元生成合成视频，在所述合成视频中，由所述效果应用单元应用了所述效果的所述被摄体的区域与由所述背景绘制单元绘制的背景信息组合。
(2)
根据(1)所述的信息处理装置，其中，
所述效果应用单元
基于根据到所述被摄体的拍摄距离确定的所述效果的强度，将所述效果应用于所述被摄体的区域。
(3)
根据(2)所述的信息处理装置，其中，
所述效果应用单元
当到所述被摄体的拍摄距离小于预定距离时，增加所述效果的强度并将所述效果应用于所述被摄体的区域。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中，
所述效果应用单元
当从由所述第一获取单元获取所述运动图像起的经过时间超过预定时间时，基于取决于所述被摄体区域提取单元是否完成了所述被摄体的区域的提取而确定的所述效果的强度，将所述效果应用于所述被摄体的区域。
(5)
根据(4)所述的信息处理装置，其中，
所述效果应用单元
如果当所述经过时间超过所述预定时间时所述被摄体区域提取单元没有完成所述被摄体的区域的提取，则增加所述效果的强度并将所述效果应用于所述被摄体的区域。
(6)
根据(1)至(5)中任一项所述的信息处理装置，还包括：
第二获取单元，所述第二获取单元与所述第一获取单元同步地获取从所述第一获取单元在预定相对位置处捕获的、发射至所述被摄体的不可见光的反射光的强度分布，
其中，所述被摄体区域提取单元将从由所述第二获取单元获取的反射光的强度分布中提取的所述被摄体的区域变换成预期要由所述第一获取单元获取的形状和位置，将所述区域应用于由所述第一获取单元实际获取的运动图像，并且提取所述被摄体的区域。
(7)
根据(6)所述的信息处理装置，其中，
所述不可见光是红外光。
(8)
根据(1)至(7)中任一项所述的信息处理装置，还包括：
视频显示单元，所述视频显示单元显示来自所述视频合成单元的所述合成视频。
(9)
根据(8)所述的信息处理装置，其中，
所述视频显示单元在所述被摄体的背后显示所述合成视频。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中，
所述效果应用单元将所述效果应用于所述被摄体的区域的外围。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，
所述效果应用单元
将根据所述被摄体的实际位置与所述被摄体的提取结果之间的位移的最大值的所述效果应用于所述被摄体的区域，所述最大值是基于所述被摄体的移动范围来预测的。
(12)
根据(6)或(7)所述的信息处理装置，还包括：
切换单元，所述切换单元根据由所述第二获取单元获取的反射光的强度分布中亮度等于或大于预定值的像素的数目，切换是否应用所述效果。
(13)
根据(1)至(12)中任一项所述的信息处理装置，还包括：
合成位置设置单元，所述合成位置设置单元基于所述被摄体的运动，来设置要将由所述效果应用单元应用效果的所述被摄体的区域与由所述背景绘制单元绘制的背景信息组合的区域。
(14)
一种合成视频生成方法，包括：
第一获取步骤，用于获取包括被摄体和背景的运动图像；
被摄体提取步骤，用于从在所述第一获取步骤中获取的运动图像中提取所述被摄体的区域；
背景绘制步骤，用于在所述第一获取步骤中获取的运动图像中除了所述被摄体的区域之外的区域中绘制背景信息；
效果应用步骤，用于基于根据关于获取所述运动图像的环境的信息确定的、应用于所述被摄体的区域的效果的强度，将所述效果应用于所述被摄体的区域；以及
视频合成步骤，用于生成合成视频，在所述合成视频中，在所述效果应用步骤中应用了效果的所述被摄体的区域与在所述背景绘制步骤中绘制的背景信息组合。
(15)
一种程序，其使得计算机用作：
第一获取单元，所述第一获取单元获取包括被摄体和背景的运动图像；
被摄体区域提取单元，所述被摄体区域提取单元从由所述第一获取单元获取的运动图像中提取所述被摄体的区域；
背景绘制单元，所述背景绘制单元在由所述第一获取单元获取的运动图像中除了所述被摄体的区域之外的区域中绘制背景信息；
效果应用单元，所述效果应用单元基于根据关于获取所述运动图像的环境的信息确定的、应用于所述被摄体的区域的效果的强度，将所述效果应用于所述被摄体的区域；以及
视频合成单元，所述视频合成单元生成合成视频，在所述合成视频中，其上由所述效果应用单元应用所述效果的所述被摄体的区域与由所述背景绘制单元绘制的所述背景信息组合。
附图标记列表
10a，10b，10c，10d，10e 被摄体强调系统
12 RGB 相机(彩色相机)
13 IR 相机(红外相机)
14 IR 灯(红外灯)
15 LED 面板
16 RGB-IR 相机
20a，20b，20c，20d，20e 被摄体强调装置(信息处理装置)
31 可见光运动图像获取单元(第一获取单元)
32 红外运动图像获取单元(第二获取单元)
33，42 被摄体区域提取单元
34 拍摄距离计算单元
35 效果强度计算单元
36 效果应用单元
37 背景绘制单元
38 视频合成单元
39 显示控制单元(视频显示单元)
40 视差预测单元
41 运动图像获取单元(第一获取单元和第二获取单元)
43 处理时间测量单元
44 触发信息检测单元
45 效果开启/关闭控制单元(切换单元)
46 运动检测单元
47 被摄体合成位置设置单元(合成位置设置单元)
90 舞台
92，93 被摄体
94 背景信息
95 合成视频
ε 视差

Claims (15)

1.一种信息处理装置，包括：
第一获取单元，所述第一获取单元获取包括被摄体和背景的运动图像；
被摄体区域提取单元，所述被摄体区域提取单元从由所述第一获取单元获取的运动图像中提取所述被摄体的区域；
背景绘制单元，所述背景绘制单元在由所述第一获取单元获取的运动图像中除了所述被摄体的区域之外的区域中绘制背景信息；
效果应用单元，所述效果应用单元基于根据关于获取所述运动图像的环境的信息确定的、应用于所述被摄体的区域的效果的强度，将所述效果应用于所述被摄体的区域；以及
视频合成单元，所述视频合成单元生成合成视频，在所述合成视频中，由所述效果应用单元应用了所述效果的所述被摄体的区域与由所述背景绘制单元绘制的背景信息组合。
2.根据权利要求1所述的信息处理装置，其中，
所述效果应用单元
基于根据到所述被摄体的拍摄距离确定的所述效果的强度，将所述效果应用于所述被摄体的区域。
3.根据权利要求2所述的信息处理装置，其中，
所述效果应用单元
当到所述被摄体的拍摄距离小于预定距离时，增加所述效果的强度并将所述效果应用于所述被摄体的区域。
4.根据权利要求1所述的信息处理装置，其中，
所述效果应用单元
当从由所述第一获取单元获取所述运动图像起的经过时间超过预定时间时，基于取决于所述被摄体区域提取单元是否完成了所述被摄体的区域的提取而确定的所述效果的强度，将所述效果应用于所述被摄体的区域。
5.根据权利要求4所述的信息处理装置，其中，
所述效果应用单元
如果当所述经过时间超过所述预定时间时所述被摄体区域提取单元没有完成所述被摄体的区域的提取，则增加所述效果的强度并将所述效果应用于所述被摄体的区域。
6.根据权利要求1所述的信息处理装置，还包括
第二获取单元，所述第二获取单元与所述第一获取单元同步地获取从所述第一获取单元在预定相对位置处捕获的、发射至所述被摄体的不可见光的反射光的强度分布，
其中，所述被摄体区域提取单元将从由所述第二获取单元获取的反射光的强度分布中提取的所述被摄体的区域变换成预期要由所述第一获取单元获取的形状和位置，将所述区域应用于由所述第一获取单元实际获取的运动图像，并且提取所述被摄体的区域。
7.根据权利要求6所述的信息处理装置，其中，
所述不可见光是红外光。
8.根据权利要求1所述的信息处理装置，还包括
视频显示单元，所述视频显示单元显示来自所述视频合成单元的所述合成视频。
9.根据权利要求8所述的信息处理装置，其中，
所述视频显示单元在所述被摄体的背后显示所述合成视频。
10.根据权利要求1所述的信息处理装置，其中，
所述效果应用单元将所述效果应用于所述被摄体的区域的外围。
11.根据权利要求1所述的信息处理装置，其中，
所述效果应用单元
将根据所述被摄体的实际位置与所述被摄体的提取结果之间的位移的最大值的所述效果应用于所述被摄体的区域，所述最大值是基于所述被摄体的移动范围来预测的。
12.根据权利要求6所述的信息处理装置，还包括
切换单元，所述切换单元根据由所述第二获取单元获取的反射光的强度分布中亮度等于或大于预定值的像素的数目，切换是否应用所述效果。
13.根据权利要求1所述的信息处理装置，还包括
合成位置设置单元，所述合成位置设置单元基于所述被摄体的运动，来设置要将由所述效果应用单元应用效果的所述被摄体的区域与由所述背景绘制单元绘制的背景信息组合的区域。
14.一种合成视频的生成方法，包括：
第一获取步骤，用于获取包括被摄体和背景的运动图像；
被摄体提取步骤，用于从在所述第一获取步骤中获取的运动图像中提取所述被摄体的区域；
背景绘制步骤，用于在所述第一获取步骤中获取的运动图像中除了所述被摄体的区域之外的区域中绘制背景信息；
效果应用步骤，用于基于根据关于获取所述运动图像的环境的信息确定的、应用于所述被摄体的区域的效果的强度，将所述效果应用于所述被摄体的区域；以及
视频合成步骤，用于生成合成视频，在所述合成视频中，在所述效果应用步骤中应用了效果的所述被摄体的区域与在所述背景绘制步骤中绘制的背景信息组合。
15.一种程序，其使计算机用作：
第一获取单元，所述第一获取单元获取包括被摄体和背景的运动图像；
被摄体区域提取单元，所述被摄体区域提取单元从由所述第一获取单元获取的运动图像中提取所述被摄体的区域；
背景绘制单元，所述背景绘制单元在由所述第一获取单元获取的运动图像中除了所述被摄体的区域之外的区域中绘制背景信息；
效果应用单元，所述效果应用单元基于根据关于获取所述运动图像的环境的信息确定的、应用于所述被摄体的区域的效果的强度，将所述效果应用于所述被摄体的区域；以及
视频合成单元，所述视频合成单元生成合成视频，在所述合成视频中，由所述效果应用单元应用了效果的所述被摄体的区域与由所述背景绘制单元绘制的背景信息组合。
CN202180029874.8A 2020-04-27 2021-04-14 信息处理装置、合成视频的生成方法和程序 Pending CN115428436A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-078383 2020-04-27
JP2020078383 2020-04-27
PCT/JP2021/015392 WO2021220804A1 (ja) 2020-04-27 2021-04-14 情報処理装置、合成映像の生成方法およびプログラム

Publications (1)

Publication Number Publication Date
CN115428436A true CN115428436A (zh) 2022-12-02

Family

ID=78373491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029874.8A Pending CN115428436A (zh) 2020-04-27 2021-04-14 信息处理装置、合成视频的生成方法和程序

Country Status (4)

Country Link
US (1) US20230224428A1 (zh)
JP (1) JPWO2021220804A1 (zh)
CN (1) CN115428436A (zh)
WO (1) WO2021220804A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023038A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 画像抽出装置
JP2003111094A (ja) * 2001-10-01 2003-04-11 Megafusion Corp 合成撮影システム、合成画像生成法および画像合成装置
JP2015211338A (ja) * 2014-04-25 2015-11-24 オリンパス株式会社 画像処理装置、それを備える撮像装置、画像処理方法及び画像処理プログラム
EP3547661A4 (en) * 2016-11-28 2019-12-04 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
CN112154658A (zh) * 2018-05-29 2020-12-29 索尼公司 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
WO2021220804A1 (ja) 2021-11-04
US20230224428A1 (en) 2023-07-13
JPWO2021220804A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
KR102432765B1 (ko) Tof 카메라 시스템 및 그 시스템과의 거리를 측정하는 방법
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
US20200043225A1 (en) Image processing apparatus and control method thereof
US20130222551A1 (en) Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
CN111982023B (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
JPH07302339A (ja) 物体画像処理システムおよび方法
KR20150050450A (ko) 장면의 깊이 맵을 생성하기 위한 방법 및 장치
JP2008135073A (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
CN111630837B (zh) 图像处理装置、输出信息控制方法以及程序
US10218960B2 (en) Stereoscopic imaging apparatus
CN112640426B (zh) 用于缓解led闪烁的图像处理系统
CN107079107B (zh) 用于获得物体的高动态范围合成图像的显微镜和方法
JP2004200973A (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
CN115428436A (zh) 信息处理装置、合成视频的生成方法和程序
JP2015213234A (ja) 疑似ｈｄｒ画像推定装置及び方法
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
WO2018070001A1 (ja) 信号調整プログラム、信号調整装置、及び信号調整方法
JP2019062327A (ja) 撮像装置、撮像処理論理素子及び撮像素子
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
EP3545489B1 (en) Imaging system for a vehicle and method for obtaining an anti-flickering super-resolution image
JP2009296224A (ja) 撮像手段及びプログラム
KR101702577B1 (ko) 저 시정 환경에서도 활용 가능한 공간 분할을 이용한 물체의 영상 획득 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination