CN109716398B - 图像处理设备、图像生成方法和存储介质 - Google Patents

图像处理设备、图像生成方法和存储介质 Download PDF

Info

Publication number
CN109716398B
CN109716398B CN201780056611.XA CN201780056611A CN109716398B CN 109716398 B CN109716398 B CN 109716398B CN 201780056611 A CN201780056611 A CN 201780056611A CN 109716398 B CN109716398 B CN 109716398B
Authority
CN
China
Prior art keywords
image
virtual
virtual viewpoint
advertisement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780056611.XA
Other languages
English (en)
Other versions
CN109716398A (zh
Inventor
水野祥吾
伊达厚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority claimed from PCT/JP2017/030092 external-priority patent/WO2018051747A1/ja
Publication of CN109716398A publication Critical patent/CN109716398A/zh
Application granted granted Critical
Publication of CN109716398B publication Critical patent/CN109716398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Studio Devices (AREA)

Abstract

本发明降低了虚拟视点图像的被摄体即特定对象与虚拟对象区域重叠的可能性。本发明包括：第一识别单元，用于识别多个照相机从不同方向拍摄的特定对象的三维位置；第二识别部件，用于识别与基于所述多个照相机所获取到的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；以及确定部件，用于基于所述第一识别部件所识别的所述特定对象的三维位置和所述第二识别部件所识别的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置。

Description

图像处理设备、图像生成方法和存储介质
技术领域
本发明涉及图像处理设备、图像生成方法和程序。
背景技术
近年来，如下的技术引起关注，其中该技术在不同位置安装多个照相机，利用多个视点进行同步摄像，并且通过使用通过摄像所获得的多个视点图像，不仅生成照相机安装位置处的图像而且还生成来自任意视点的虚拟视点图像。这里，可以通过将多个照相机所拍摄到的图像收集在诸如服务器等的图像处理单元中、在该图像处理单元中基于虚拟视点对所收集到的图像进行诸如绘制等的处理、并且将所获得的虚拟视点图像显示在用户的观看终端上，来实现基于多个视点图像的虚拟视点图像的生成以及所生成的图像的浏览。
专利文献1公开了如下的技术：在足球场转播等中在球场的墙面等的预定区域中设置广告框，并且在包括广告框的虚拟视点的视频数据中，将与观看环境相对应的广告信息显示到该广告框。
现有技术文献
专利文献
专利文献1：日本特开2014-41259
发明内容
发明要解决的问题
然而，担心广告区域与诸如足球运动员等的被摄体重叠。例如，在由于被摄体的移动而导致被摄体和广告区域彼此重叠的情况下，担心不显示广告。此外，例如，在由于虚拟视点的移动而导致被摄体和广告区域彼此重叠的情况下，担心不显示广告。在不仅广告显示在虚拟视点图像中而且其它虚拟对象也显示在虚拟视点图像中的情况下，可能出现相同的问题。
有鉴于这些问题而完成了本发明，并且本发明的目的是降低虚拟视点图像的被摄体(特定对象)和虚拟对象区域彼此重叠的可能性。
用于解决问题的方案
因此，本发明的特征在于包括：第一识别单元，其被配置为识别多个照相机从不同方向分别拍摄的特定对象的三维位置；第二识别单元，其被配置为识别与基于所述多个照相机获得的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；以及确定单元，其被配置为基于所述第一识别单元所识别出的所述特定对象的三维位置和所述第二识别单元所识别出的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置。
发明的效果
根据本发明，可以降低虚拟视点图像的被摄体(特定对象)和虚拟对象区域彼此重叠的可能性。
附图说明
图1是用于说明图像处理系统的图。
图2是用于说明摄像设备的安装示例的图。
图3是用于说明图像生成设备的硬件构成的图。
图4是用于说明图像生成设备的功能结构的图。
图5是用于说明图像处理的流程图。
图6A是广告区域确定处理的说明图。
图6B是广告区域确定处理的说明图。
图7A是广告区域确定处理的说明图。
图7B是广告区域确定处理的说明图。
图8A是变形例的说明图。
图8B是变形例的说明图。
图9是用于说明根据第二实施例的图像生成设备的功能结构的图。
图10是用于说明根据第二实施例的图像处理的流程图。
图11A是广告区域确定处理的说明图。
图11B是广告区域确定处理的说明图。
图12是用于说明根据第三实施例的图像生成设备的功能结构的图。
图13是用于说明根据第三实施例的图像处理的流程图。
图14是用于说明根据第四实施例的图像生成设备的功能结构的图。
图15是用于说明根据第四实施例的图像处理的流程图。
图16是根据第四实施例的广告区域识别处理的说明图。
图17是根据第四实施例的广告区域识别处理的说明图。
图18A是根据第四实施例的广告合成虚拟视点图像的生成处理的说明图。
图18B是根据第四实施例的广告合成虚拟视点图像的生成处理的说明图。
具体实施方式
以下将参考附图来说明本发明的优选实施例。
(第一实施例)
图1是用于说明根据本实施例的图像处理系统100的图。图像处理系统100包括多个摄像设备110、作为图像处理设备的示例的图像生成设备120、以及终端设备130。摄像设备110和图像生成设备120各自经由诸如LAN(局域网)线缆等的通信线缆连接。在本实施例中，假定通信线缆是LAN线缆，但是通信线缆不限于本实施例中的通信线缆。作为其它示例，假定通信线缆可以是诸如DisplayPort或HDMITM(高清晰度多媒体接口)等的视频传输线缆。
摄像设备110例如是能够拍摄图像(静止图像和运动图像)的数字照相机。各摄像设备110被安装成围绕诸如足球场等的体育场或特定被摄体，并且拍摄图像(视频)。所拍摄到的图像从摄像设备110被发送至图像生成设备120。图2是用于说明摄像设备110的安装示例的图。在本实施例中，假定多个摄像设备110被安装成拍摄足球场的全部或一部分。也就是说，根据本实施例的图像处理系统100包括用于从多个方向分别拍摄被摄体的多个摄像设备110。
图像生成设备120累积摄像设备110所获得的拍摄图像，并且在通过用户的操作在终端设备130上输入虚拟视点信息时，基于拍摄图像和虚拟视点来生成虚拟视点图像。这里，虚拟视点信息是表示从拍摄图像构建的虚拟空间中的虚拟设置视点(虚拟视点)的三维位置的信息。假定虚拟视点信息至少包括相对于诸如所拍摄的体育场的中央等的预定位置的相对位置的位置信息(即，相对于预定位置的前后、左右和右左的位置信息)、以及从该预定位置的方向的方向信息(即，以前后、左右和上下为轴的角度的方向信息)。
图像生成设备120例如是服务器设备，并且具有数据库功能和图像处理功能。在数据库中，作为背景图像，经由摄像设备110预先保持了通过拍摄由于比赛尚未开始因此预先不存在被摄体的竞赛场地的场景所获得的图像。此外，在诸如竞赛期间的参赛者等的被摄体存在的场景中，作为被摄体的特定对象等的前景通过图像处理而被分离，并被保存作为特定对象图像。顺便提及，特定对象可以不仅是竞赛期间的竞争者，而且是其它特定人物(例如，候补运动员、经理、裁判员等)。此外，特定对象可以是诸如球或球门等的图像图案是预先确定的物体。
假定从在数据库中管理的背景图像和特定对象图像生成与虚拟视点信息相对应的虚拟视点图像。例如，使用基于模型的绘制(MBR)作为虚拟视点图像的生成方法。MBR是通过使用基于通过从多个方向拍摄被摄体所获得的多个拍摄图像而生成的三维模型来生成虚拟视点图像的方法。更具体地，MBR是通过使用利用诸如可视外壳(visual hull)或多视点立体(MVS)等的三维形状恢复方法获得的对象场景的三维形状(模型)来生成从虚拟视点的场景的外观作为图像的技术。顺便提及，作为虚拟视点图像的生成方法，可以使用除MBR以外的绘制方法。将所生成的虚拟视点图像经由LAN线缆等发送至终端设备130。
终端设备130是例如PC(个人计算机)或平板电脑。控制器131是例如鼠标、键盘、六轴控制器和触摸面板，并且用户通过使用这些组件来进行操作并将静止图像或运动图像显示在画面上。例如，终端设备130将从图像生成设备120接收到的虚拟视点图像显示在显示画面132上。终端设备130还根据用户针对所连接的控制器131的操作来接受用以移动虚拟视点的指示(与移动量和移动方向有关的指示)，并且将表示根据所接受的指示的指示信息的传输信号发送至图像生成设备120。
顺便提及，在本实施例中，将主要说明将基于终端设备130所设置的虚拟视点而生成的虚拟视点图像显示在终端设备130上的示例，但本发明不限于此。例如，基于终端设备130所设置的虚拟视点而生成的虚拟视点图像可以由其它终端设备130(例如，智能电话)等显示。
图3是用于说明图像生成设备120的硬件构成的图。图像生成设备120包括CPU301、ROM 302、RAM 303、HDD 304、显示单元305、输入单元306和通信单元307。CPU 301读取ROM 302中所存储的控制程序，并执行各种处理。RAM 303用作CPU 301的主存储器和工作区等的暂时存储区域。HDD 304存储各种数据和各种程序等。显示单元305显示各种信息。输入单元306包括键盘和鼠标，并且接受用户的各种操作。通信单元307经由网络与诸如图像形成设备等的外部设备进行通信处理。顺便提及，作为网络，可以使用EthernetTM(以太网)。作为另一示例，通信单元307可以无线地与外部设备进行通信。
通过CPU 301读取ROM 302或HDD 304中所存储的程序并执行所读取的程序来实现后面将使用流程图等进行说明的图像生成设备120的功能和处理。然而，还可以通过专用硬件实现图像生成设备120的功能和处理的全部或一部分。在这种情况下，图像生成设备120的CPU 301控制专用硬件，由此实现后面所述的各功能和处理。此外，终端设备130的硬件构成与图像生成设备120的硬件构成相同。也就是说，后面将使用流程图等进行说明的终端设备130的功能和处理可以由CPU 301实现，或者终端设备130的功能和处理的一部分或全部可以通过专用硬件实现。
图4是用于说明图像生成设备120的功能结构的图。图像生成设备120包括通信处理单元401、分离单元402、分离图像存储单元403、虚拟视点信息生成单元404和图像获得单元405。图像生成设备120还包括对象识别单元406、广告区域确定单元407、广告图像存储单元408、虚拟广告图像生成单元409和虚拟视点图像生成单元410。
通信处理单元401控制图像生成设备120和终端设备130之间的信息的发送和接收。例如，通信处理单元401将从终端设备130接收到的传输信号转换成指示信息。例如，指示信息是用户操作信息，其中该用户操作信息包括表示虚拟视点图像中的虚拟视点的位置的位置信息(x,y,z)的变化量和表示虚拟拍摄方向的方向信息(rx,ry,rz)的变化量。通信处理单元401还将从摄像设备110接收到的传输信号转换成拍摄图像的数据。
分离单元402从经由通信处理单元401接收到的拍摄图像中分离通过拍摄处于由于比赛尚未开始因而特定被摄体(特定对象)不存在的状态的竞赛场地的场景而获得的图像，并且将所分离的图像作为背景图像记录在分离图像存储单元403中。此外，分离单元402从在竞赛期间拍摄到的图像中提取诸如运动员等的特定被摄体，并且将所提取的特定被摄体的图像记录为特定对象图像。分离图像存储单元403存储背景图像和特定对象图像。顺便提及，分离图像存储单元403将背景图像和特定对象图像连同表示拍摄空间的世界坐标系(三维坐标系)中的拍摄位置(三维位置)的拍摄位置信息一起存储。也就是说，三维位置由与拍摄空间中的高度、宽度和深度相对应的各方向上的位置来限定。例如，通过拍摄预先设置的标记等并进行该标记的三维图像测量等来获得相对于世界坐标系的拍摄位置信息。
虚拟视点信息生成单元404根据通信处理单元401所接受的指示信息中包括的位置和方向的变化量来生成虚拟视点信息(x,y,z,rx,ry,rz)。这里，虚拟视点信息是通过使用例如体育场的中央作为原点来相对于变化之前的虚拟视点信息加上或减去指示信息中所包括的变化量而获得的信息。图像获得单元405从分离图像存储单元403获得与虚拟视点信息生成单元404所生成的虚拟视点信息相对应的多个特定对象图像和背景图像。基于图像获得单元405所获得的特定对象图像，对象识别单元406识别拍摄空间中的特定对象的位置和大小。对象识别单元406生成表示特定对象的位置和大小的特定对象信息。
基于虚拟视点信息生成单元404所生成的虚拟视点信息和对象识别单元406所生成的特定对象信息，广告区域确定单元407确定拍摄空间中布置广告区域的位置(配置位置)。这里，广告区域是用于显示广告图像的区域。广告图像存储单元408存储广告图像。这里，广告图像是包括公司名称标识、产品标识和产品图像等的图像。顺便提及，广告图像不限于本实施例中的广告图像。虚拟广告图像生成单元409将广告图像存储单元408中所存储的广告图像布置在广告区域确定单元407所确定的广告区域中，由此生成如从虚拟视点观看到的、广告被布置在预定的虚拟位置处的虚拟广告图像。
顺便提及，在本实施例中，生成布置有广告图像的虚拟视点图像，但要布置在虚拟视点图像中的图像不限于广告图像，并且可以使用其它虚拟对象。这里，广告图像是虚拟对象的示例，并且广告区域是虚拟对象区域的示例。
虚拟视点图像生成单元410基于图像获得单元405所获得的特定对象图像和背景图像以及虚拟广告图像生成单元409所生成的虚拟广告图像来生成虚拟视点图像。也就是说，虚拟视点图像生成单元410所生成的虚拟视点图像包括广告图像。将虚拟视点图像生成单元410所生成的虚拟视点图像转换成通信处理单元401可以发送的传输信号，并且将其发送至终端设备130。
图5是用于说明图像生成设备120所要进行的图像处理中的操作的流程图。在S501中，通信处理单元401确认从终端设备130是否接收到指示信息。在接收到指示信息时(S501中为“是”)，通信处理单元401使处理进入S502。在S502中，虚拟视点信息生成单元404基于指示信息生成虚拟视点信息。接着，在S503中，图像获得单元405从分离图像存储单元403获得生成与虚拟视点信息对应的虚拟视点图像所需的多个特定对象图像和背景图像。顺便提及，图像获得单元405获得从靠近虚拟视点信息的位置的至少两个或更多个摄像设备110获得的图像数据。
接着，在S504中，对象识别单元406针对多个摄像设备110所拍摄到的图像，通过使用三维图像分析方法来识别拍摄空间中的特定对象的位置和大小。顺便提及，用于识别特定对象的位置和大小的处理不限于本实施例中的处理。
接着，在S505中，广告区域确定单元407基于特定对象信息和虚拟视点信息来确定广告区域的配置位置。更具体地，广告区域确定单元407将虚拟视点图像中的特定对象图像和虚拟广告图像不重叠的位置确定为广告区域的配置位置。后面将参考图6A和6B以及图7A和7B来说明该处理。接着，在S506中，虚拟广告图像生成单元409将广告图像存储单元408中所存储的广告图像布置在广告区域确定单元407所确定的广告区域的配置位置处，由此生成虚拟广告图像。
接着，在S507中，虚拟视点图像生成单元410基于图像获得单元405所获得的特定对象图像和背景图像来生成虚拟视点图像。接着，在S508中，虚拟视点图像生成单元410通过对S507中所生成的虚拟视点图像和S506中所生成的虚拟广告图像进行合成来生成布置了广告的虚拟视点图像。接着，在S509中，通信处理单元401将S508中所获得的虚拟视点图像(显示图像)发送(输出)至终端设备130。因而，图像处理结束。
图6A和6B以及图7A和7B是广告区域确定处理(S505)的说明图。在图6A中，概念性地示出虚拟视点600、虚拟拍摄范围601、特定对象602和广告区域603。在图6A的示例中，如从虚拟视点600观看到的，将在虚拟拍摄范围601的右侧并且在相对于特定对象602的拍摄方向的后方的位置确定为特定对象602的配置位置。图6B是用于说明与图6A相对应的虚拟视点图像610的图。在虚拟视点图像610中，虚拟广告图像612布置在特定对象图像611的左侧，而不与特定对象图像611重叠。
此外，如图7A所示，假定特定对象702位于拍摄范围701的左侧。在这种情况下，广告区域确定单元407将特定对象702的右侧且后方的位置确定为广告区域703的位置。图7B是用于说明与图7A相对应的虚拟视点图像710的图。在虚拟视点图像710中，虚拟广告图像712布置在特定对象图像711的右侧，而不与特定对象图像711重叠。
如上所述，根据第一实施例的图像生成设备120将不与特定对象(被摄体)重叠的位置确定为广告区域，并且将虚拟广告图像布置在广告区域中。更具体地，图像生成设备120基于三维空间中的虚拟视点的位置和三维空间中的特定对象的位置来确定广告区域。顺便提及，本实施例中的三维空间是由例如作为多个摄像设备110的拍摄对象的空间(例如，诸如足球场等的体育场)中的高度方向(重力方向)、宽度方向和深度方向识别的空间。该三维空间可以通过使用例如体育场的中央作为原点的三维坐标来表示。根据上述构成，可以防止由于被摄体与广告图像重叠而导致不显示广告图像的一部分或全部。也就是说，可以减少广告图像的显示机会的损失。换句话说，图像生成设备120可以将广告图像适当地布置在虚拟视点图像中。
作为第一变形例，图像生成设备120可以根据特定对象的移动来改变广告区域的位置。更具体地，图像生成设备120基于视频的各帧来检测对象的移动。如图8A所示，在检测到特定对象802在接近虚拟视点800的方向上的移动的情况下，图像生成设备120将广告区域803的位置改变到更后方的位置。
图8B是用于说明根据特定对象802的移动的虚拟视点图像的变化的图。根据特定对象802的移动，虚拟视点图像从虚拟视点图像810改变为虚拟视点图像820。也就是说，虚拟视点图像810对应于图8A中的特定对象802的移动之前的状态，并且虚拟视点图像820对应于图8A中的特定对象802的移动之后的状态。虚拟视点图像820的特定对象图像821被显示得大于虚拟视点图像810的特定对象图像811。另一方面，虚拟视点图像820的虚拟广告图像822被显示得小于虚拟视点图像810的虚拟广告图像812。此外，在这种情况下，与虚拟广告图像812相比，图像生成设备120可以进行向虚拟广告图像822提供诸如模糊或阴影等的距离感的图像处理。
更具体地，图像生成设备120根据虚拟视点和特定对象之间的距离来确定广告区域在拍摄方向上的位置。例如，随着虚拟视点和特定对象之间的距离变短，图像生成设备120将更后方的位置确定为广告区域的位置。顺便提及，假定图像生成设备120根据例如表示虚拟视点和特定对象的距离与广告区域的位置之间的关系的关系表达式来确定广告区域的位置。在这种情况下，假定关系表达式预先存储在图像生成设备120的HDD 304中。作为其它示例，图像生成设备120可以参考虚拟视点和特定对象的距离与广告区域的位置彼此关联的对应表来确定广告区域的位置。在这种情况下，假定对应表预先存储在图像生成设备120的HDD 304中。此外，此时，图像生成设备120根据虚拟视点和特定对象之间的距离，除可以改变广告区域的拍摄方向上的位置之外，还可以改变其它方向上的位置。
以这种方式，在特定对象接近虚拟视点时，图像生成设备120将广告区域的位置改变到更后方的位置。因而，即使在特定对象正沿接近虚拟视点的方向移动的情况下，也可以防止不显示虚拟广告图像的一部分或全部。
图像生成设备120检测特定对象的移动方向，并且根据检测结果来改变广告区域的位置。然而，该操作不限于特定对象向着虚拟视点移动的情况。例如，在特定对象向广告区域的方向移动的情况下，图像生成设备可以将广告的位置改变到更后方的位置，或者可以沿离开特定对象的方向改变广告区域的位置。
作为第二变形例，代替确定拍摄空间中的广告区域的配置位置，图像生成设备120可以确定虚拟视点图像中的广告区域的配置位置。在这种情况下，图像生成设备120可以基于虚拟视点信息来生成不包括广告图像的虚拟视点图像，并且将虚拟视点图像中的不与特定对象图像重叠的位置确定为广告区域的位置。然后，图像生成设备120通过将虚拟广告图像叠加在广告区域上来获得显示了广告图像的虚拟视点图像。此外，除了虚拟视点中的广告区域的配置位置之外，图像生成设备120还可以确定广告区域的大小。例如，在不能确保用于布置初始大小的广告区域的空间的情况下，图像生成设备120可以将广告区域的大小设置为更小的大小。根据第二变形例，不是确定三维空间中的广告区域的配置位置，可以减轻与基于三维空间中的虚拟视点的位置以及特定对象的位置来确定广告区域有关的处理负荷。
作为第三变形例，代替根据用户的操作来生成虚拟视点信息，图像生成设备120可以自动生成诸如追踪特定运动员或球等的特定对象等的虚拟视点信息。
作为第四变形例，图像处理设备120可以针对作为虚拟视点图像的运动图像的各帧顺次改变广告区域的位置，或者在改变了位置一次之后，可以使广告区域的位置固定了预定时间段。
作为第五变形例，图像生成设备120可以基于特定对象、背景和广告的图像以及这三者在三维空间中的相应布置，来直接生成插入了广告的虚拟视点图像。根据这种方法，与一次生成未插入广告的虚拟视点图像以及虚拟广告图像、然后对这两个图像进行合成的情况相比，可以减少图像生成设备120的整体处理量。
作为第六变形例，图像生成设备120可以将未插入广告的虚拟视点图像和表示广告区域确定单元407所确定的广告区域的位置的信息输出至外部设备。然后，外部设备可以将广告插入到利用从图像生成设备120获得的信息表示的广告区域的位置，并且生成插入了广告的虚拟视点图像。
(第二实施例)
接着，将说明根据第二实施例的图像处理系统。图9是用于说明根据第二实施例的图像生成设备900的功能结构的图。除了参考图4所述的第一实施例的图像生成设备120的结构之外，图像生成设备900还包括背景形状识别单元901。
背景形状识别单元901基于图像获得单元405所获得的多个背景图像来识别背景的形状。然后，背景形状识别单元901生成表示背景的形状(诸如背景的布置和特定点的位置信息等)的背景形状信息。顺便提及，作为识别背景的形状的方法，存在通过针对多个照相机所拍摄到的图像使用三维图像分析方法来识别背景的包括布置和深度的形状的处理。然而，可以使用其它方法。广告区域确定单元902基于对象识别单元406所生成的特定对象信息、背景形状信息和虚拟视点信息，来确定拍摄空间中的广告区域的配置位置。
图10是用于说明根据第二实施例的图像生成设备900所要进行的图像处理的流程图。应该注意，在图10所示的处理中，利用相同的附图标记来分别表示与图5所示的图像处理中的处理相同的处理，并且将省略对这些处理的说明。在S504中的处理之后，在S1001中，背景形状识别单元901基于图像获得单元405所获得的多个背景图像来识别背景的形状。然后，背景形状识别单元901生成表示背景的形状(诸如背景的布置以及特征点的位置信息等)的背景形状信息。
接着，在S1002中，广告区域确定单元902基于对象识别单元406所生成的特定对象信息、背景形状信息和虚拟视点信息来确定广告区域的配置位置。更具体地，广告区域确定单元902首先在无需考虑背景的形状的情况下，将不与特定对象重叠的位置确定为广告区域的临时配置位置。然后，广告区域确定单元902将通过虚拟视点和临时配置位置的直线上的预定形状的位置确定为配置位置。这里，预定形状包括面向虚拟视点侧的面等。面向虚拟视点侧的面包括墙面。此外，作为其它示例，广告区域确定单元902可以将广告区域投影在背景形状上，使得在从虚拟视点观看时，虚拟视点图像看上去是正对着的。在S1002的处理之后，CPU 301使处理进入S506。
图11A和11B是广告区域确定处理(S1002)的说明图。图11A概念性地示出虚拟视点600、虚拟拍摄范围601、特定对象602和广告区域603。在背景中，墙面1101和布告牌1102作为背景存在。在这种情况下，广告区域确定单元902将虚拟视点图像中的存在于不与特定对象602的图像重叠的位置处的布告牌1102的位置确定为广告区域的位置。图11B是用于说明与图11A相对应的虚拟视点图像1110的图。在虚拟视点图像1110中，虚拟广告图像1112布置在特定对象图像1111的左侧的背景图像中的布告牌1102上，而不与特定对象图像1111重叠。
此外，在拍摄方向是从体育场的正上方俯瞰体育场的虚拟视点的情况下，图像生成设备900将地面确定为广告区域。因而，可以生成对竞赛观看没有不利影响并且具有广告效果的虚拟视点图像。顺便提及，根据第二实施例的图像处理系统的其它结构和处理与根据第一实施例的图像处理系统的结构和处理相同。
如上所述，在第二实施例中，图像生成设备900考虑到背景的形状来确定广告区域的位置。因此，取决于背景的位置和形状，可以防止将虚拟广告图像布置在诸如墙或布告牌等的背景的后方。此外，由于图像生成设备900基于背景的墙面和布告牌等的三维形状来确定广告区域的配置位置，因此可以生成用户不会感到不适的虚拟视点图像。
(第三实施例)
接着，将说明根据第三实施例的图像处理系统。图12是用于说明根据第三实施例的图像生成设备1200的功能结构的图。除了参考图4所述的第一实施例的图像生成设备120的结构之外，图像生成设备1200还包括对象分析单元1201。基于虚拟视点信息生成单元404所生成的虚拟视点信息，对象分析单元1201生成不包括广告图像的虚拟视点图像。然后，对象分析单元1201计算特定对象图像的大小相对于整个虚拟视点图像的百分比，并且生成表示所计算出的百分比的百分比信息。
广告区域确定单元1202基于虚拟视点信息、特定对象信息和百分比信息来确定拍摄空间中的广告区域的配置位置。顺便提及，在本实施例中，假定广告区域的初始位置是与预先设置的。以初始位置为基准，广告区域确定单元1202基于百分比信息来确定拍摄方向上的位置。
例如，假定整个虚拟视点图像是点(0,0)～(1920,1080)的区域，并且特定对象图像是点(960,0)～(1560,1080)的区域。在这种情况下，在百分比超过诸如30％等的预设阈值的情况下，广告区域确定单元1202将在拍摄方向上与初始位置相距预定距离的后方位置确定为广告区域的配置位置。这里，例如，预定距离是使从虚拟视点起的距离加倍的距离。顺便提及，在确定广告区域的配置位置时，广告区域确定单元1202可以使用表示百分比和广告区域的配置位置之间的关系的关系表达式。作为另一示例，广告区域确定单元可以使用百分比和广告区域的配置位置彼此关联的对应表。
图13是用于说明根据第三实施例的图像生成设备1200所要进行的图像处理的流程图。应该注意，在图13所示的处理中，利用相同的附图标记来分别表示与图5所示的图像处理中的处理相同的处理，并且将省略对这些处理的说明。在S504的处理之后，在S1301中，对象分析单元1201基于虚拟视点信息来生成不包括广告图像的虚拟视点图像。然后，对象分析单元1201计算特定对象图像的大小相对于整个虚拟视点图像的百分比，并且生成表示所计算出的百分比的百分比信息。
接着，在S1302中，广告区域确定单元1202基于虚拟视点信息、特定对象信息和百分比信息来确定拍摄图像中的广告区域的配置位置。之后，CPU301使处理进入S506。根据第三实施例的图像处理系统的其它结构和处理与根据其它实施例的图像处理系统的结构和处理相同。
如上所述，在第三实施例中，图像生成设备1200基于特定对象图像相对于整个图像的百分比来确定广告区域的配置位置。因此，例如，如在图8B所示的虚拟视点图像820那样，即使在特定对象向着虚拟视点移动并且特定对象图像变大的情况下，也可以将虚拟广告图像布置到不与特定对象图像重叠的位置。此外，即使对于视点变焦，也可以将虚拟广告图像布置在不与用户所要操作的虚拟视点图像中的特定对象图像重叠的位置处。
(第四实施例)
接着，将说明根据第四实施例的图像处理系统。图14是用于说明根据第四实施例的图像生成设备1400的功能结构的图。代替根据第一实施例的图像生成设备120的对象识别单元406、广告区域确定单元407和虚拟广告图像生成单元409，图像生成设备1400包括广告区域识别单元1401、广告图像转换单元1402和图像合成单元1403。
广告区域识别单元1401识别在虚拟视点图像生成单元410所生成的虚拟视点图像中是否包括广告区域。更具体地，广告区域识别单元1401通过基于虚拟视点信息对三维虚拟视点空间中的预定广告区域执行二维投影变换来识别虚拟视点图像中的广告区域。顺便提及，假定虚拟视点空间中的广告区域的位置、大小和形状是预先设置的。在本实施例中，假定广告区域是矩形，并且其宽度和高度被设置为大小和形状。在虚拟视点图像中包括广告区域的情况下，广告区域识别单元1401生成表示广告区域相对于整个虚拟视点图像的位置、宽度和高度的广告区域信息。应当注意，可以在虚拟视点空间中设置一个或多个广告区域。作为另一示例，可以根据虚拟视点来动态地设置广告区域。
此外，广告区域识别单元1401为了识别广告区域所要进行的处理不限于本实施例中的处理。作为其它示例，在广告区域中布置有例如QR codeTM(快速响应码)等的预定图案对象。然后，广告区域识别单元1401可以根据在虚拟视点图像中是否存在预定图案来识别广告区域。设置广告区域的方法和识别广告区域的方法不限于本实施例中所述的方法。
基于从广告区域识别单元1401生成的广告区域信息和广告图像存储单元408中所存储的广告图像，广告图像转换单元1402对广告图像大小进行转换以保持在广告区域信息的范围内，并且生成转换广告图像。顺便提及，在本实施例中，广告图像的包括宽度和高度的初始大小是预先设置的。在广告图像大小保持在广告区域识别单元1401所生成的广告区域信息的宽度和高度内的情况下，广告图像转换单元1402使用初始大小的广告图像作为转换广告图像。另一方面，在广告图像的初始大小没有保持在利用广告区域信息表示的广告区域内的情况下，广告图像转换单元1402缩小广告图像以保持在利用广告区域信息表示的广告区域内。
作为其它示例，广告图像转换单元1402可以基于虚拟视点的三维位置和广告区域的位置之间的位置关系来确定广告图像(虚拟广告)的大小(尺寸)。用于根据广告区域来调整广告图像的大小的处理不限于本实施例中的处理。作为其它示例，图像生成设备1400可以预先将大小不同的多个广告图像保持在广告图像存储单元408中，并且基于广告区域信息来读出广告区域内所保持的大小的广告图像。如上所述，对广告图像进行转换的方法不限于本实施例中的方法。
图像合成单元1403将虚拟视点图像生成单元410所生成的虚拟视点图像和广告图像转换单元1402所生成的转换广告图像进行合成，以生成广告合成虚拟视点图像。也就是说，图像合成单元1403将广告图像叠加在基于虚拟视点图像的广告区域信息的指定区域上，由此生成广告合成虚拟视点图像。将图像合成单元1403所生成的广告合成虚拟视点图像转换成通信处理单元401能够发送的传输信号，并且将其发送至终端设备130。
图15是用于说明根据第四实施例的图像生成设备1400所要进行的图像处理的流程图。应该注意，在图15所示的处理中，利用相同的附图标记来表示与图5所示的图像处理中的处理相同的处理，并且将省略对这些处理的说明。在S503中的处理之后，在S1501中，虚拟视点图像生成单元410基于图像获得单元405所获得的特定对象图像和背景图像来生成虚拟视点图像。接着，在S1502中，广告区域识别单元1401识别虚拟视点图像中的广告区域。接着，在S1503中，广告图像转换单元1402基于广告区域识别单元1401所生成的广告区域信息和广告图像存储单元408中所存储的广告图像来对广告图像的大小进行转换，由此获得转换广告图像。广告图像转换单元1402减小广告图像的大小，使得广告图像保持在广告区域信息的范围内。
接着，在S1504中，图像合成单元1403将在S1503中获得的转换广告图像叠加(合成)在虚拟视点图像的指定区域上，由此生成布置了广告的广告合成虚拟视点图像。接着，在S1505中，通信处理单元401将在S1504中获得的广告合成虚拟视点图像(显示图像)发送(输出)至终端设备130。因而，图像处理结束。
图16和图17是广告区域识别处理(S1502)的说明图。图16概念性地示出虚拟视点600、虚拟拍摄范围601、特定对象602和广告区域1600。图17示出从图16的虚拟视点600获得的虚拟视点图像。例如，在从虚拟视点600的虚拟视点信息获得的虚拟视点图像中，假定整个虚拟视点图像是原点为左上的点(0,0)～点(1920,1080)的区域。在这种情况下，通过从虚拟视点空间向虚拟视点图像的二维投影变换，将位置(0,100)、宽度700和高度300的区域识别为广告区域1700。
图18A和18B是广告图像转换处理(S1503)和广告合成虚拟视点图像的生成处理(S1504)的说明图。如图18A所示，假定广告图像1800是具有宽度720和高度360的图像。假定在S1502中识别的广告区域是如图17所示的宽度700和高度300的区域。在这种情况下，广告图像转换单元1402在维持广告图像的高宽比的同时，将广告图像缩小为保持在广告区域内的大小。更具体地，生成具有宽度600和高度300的转换广告图像。然后，如图18B所示，通过在虚拟视点图像的位置(0,100)处对转换广告图像1810进行合成，生成广告合成虚拟视点图像1820。
在本实施例中，图像合成单元1403以广告区域的中心作为基准来布置广告图像。然而，广告图像可以布置在广告区域内，并且广告图像的布置不限于本实施例中的布置。作为其它示例，图像合成单元1403可以布置广告图像，使得广告区域的左上顶点和广告图像的左上顶点彼此一致。此外，广告图像转换单元1402不一定需要在广告图像大小的转换中维持高宽比。即，广告图像转换单元可以仅转换垂直方向和水平方向其中之一，或者可以分别按不同的倍率分别减小垂直方向和水平方向。
如上所述，根据第四实施例的图像生成设备1400将虚拟广告图像布置在虚拟视点图像内所包括的广告区域中。更具体地，基于虚拟视点图像的广告区域的位置和大小，图像生成设备120对广告图像进行转换以在广告区域内，将虚拟视点图像和转换广告图像进行合成，并且显示合成图像。根据上述构成，可以在生成虚拟视点图像之后添加广告图像，因而可以以更加简单的构成和结构添加广告图像。
顺便提及，应当注意，在第二实施例和第三实施例中分别说明的方法可以应用于第四实施例。更具体地，可以基于特定对象的移动方向或者虚拟视点图像中的被特定对象的图像占据的大小来对广告图像进行转换。
此外，控制广告图像的大小的方法不限于直接控制二维虚拟视点图像中的广告图像的大小的方法。即，可以控制三维空间中的广告图像的大小，并基于这种控制结果来生成虚拟视点图像。例如，在三维空间内预先确定的广告区域、以及基于虚拟视点和特定对象的位置所确定的广告区域中，图像生成设备识别包括虚拟视点的视野中的部分区域(包括在虚拟视点图像中的部分)。基于例如虚拟视点的三维位置和广告区域的三维位置来进行部分区域的这种识别。然后，图像生成设备确定广告图像的大小和内容、使得广告图像保持在所识别的部分区域内，并且将广告图像布置在部分区域中。然后，图像生成设备可以基于拍摄图像、虚拟视点信息、以及三维空间中的广告图像的位置、大小和内容来生成虚拟视点图像。根据这种方法，例如，可以将整个广告图像包括在虚拟视点图像中，使得与广告图像的仅一部分包括在虚拟视点图像中的情况相比，可以增强广告效果。
此外，除了广告图像的大小之外，图像生成设备还可以将在广告内容上有所不同的广告图像预先保持在广告图像存储单元408中，并且可以基于广告区域信息来读取不同的广告图像。这里，广告内容是包括公司名称标识、产品标识、产品图像、标识标志和图像的广告信息。例如，随着广告区域变小，所读出的广告信息变少。作为其它示例，图像生成设备可以基于虚拟视点的三维位置和广告区域的位置之间的位置关系来确定虚拟广告的内容。
在上述各实施例中，通过将显示广告图像的广告区域布置在拍摄空间中来对广告图像和虚拟视点图像进行合成。然而，图像生成设备仅需将未包括在摄像设备的拍摄图像中的虚拟对象与虚拟视点图像进行合成，并且虚拟对象不限于广告图像。例如，要合成的虚拟对象可以是附加信息，诸如示出与拍摄对象游戏的进度有关的信息的图像、示出与游戏有关的统计信息的图像、说明诸如人物等的被摄体的文字和图像、以及示出被摄体人物的生物特征信息的图像等。
如上所述，尽管已经详细说明了本发明的实施例的示例，但本发明不限于特定实施例。也就是说，可以在所附权利要求书所述的本发明的主旨的范围内进行各种修改和改变。
(其它实施例)
本发明还可以通过以下处理来实现：将用于实现上述实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备，并且该系统或设备中的一个或多个处理器读取并执行所供给的程序。此外，本发明还可以由实现上述实施例的一个或多个功能的电路(例如，ASIC)来实现。
本申请要求2016年9月14日提交的日本专利申请2016-179529和2017年6月26日提交的日本专利申请2017-124110的优先权，在此通过引用包含这些专利申请的全部内容。
附图标记列表
100 图像处理系统
110 摄像设备
120 图像生成设备
130 终端设备

Claims (19)

1.一种图像处理设备，包括：
第一识别单元，其被配置为识别多个照相机从不同方向分别拍摄的特定对象的三维位置和三维大小；
第二识别单元，其被配置为识别与基于所述多个照相机获得的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；
确定单元，其被配置为基于所述第一识别单元所识别出的所述特定对象的三维位置和三维大小、以及所述第二识别单元所识别出的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置；以及
生成单元，其被配置为基于根据所述第一识别单元所识别出的所述特定对象的三维位置和三维大小的所述特定对象的模型、根据所述确定单元所确定的所述虚拟对象区域的位置的所述虚拟对象的模型、以及视点信息，生成所述虚拟视点图像。
2.根据权利要求1所述的图像处理设备，其中，所述确定单元被配置为基于根据所述第二识别单元所识别出的所述虚拟视点的三维位置和所述第一识别单元所识别出的所述特定对象的三维位置和三维大小而确定的所述虚拟视点图像中所述特定对象的位置，来确定所述虚拟对象区域的位置。
3.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为将所述虚拟视点图像中所述特定对象的图像和所述虚拟对象的图像不重叠的位置确定为所述虚拟对象区域的位置。
4.根据权利要求1或2所述的图像处理设备，其中，
所述确定单元被配置为确定所述虚拟对象区域的三维位置，以及
所述三维位置由与所述多个照相机所拍摄的空间相对应的三维坐标系来限定。
5.根据权利要求4所述的图像处理设备，其中，在所述虚拟视点的三维位置和所述特定对象的三维位置之间的距离是第一距离的情况下，所述确定单元被配置为确定所述虚拟对象区域的三维位置，使得与所述虚拟视点的三维位置和所述特定对象的三维位置之间的距离是长于所述第一距离的第二距离的情况相比，所述虚拟视点的三维位置和所述虚拟对象区域的三维位置之间的距离更远。
6.根据权利要求1或2所述的图像处理设备，还包括：
检测单元，其被配置为检测所述特定对象的移动方向；以及
改变单元，其被配置为基于所述检测单元所检测到的所述特定对象的移动方向，来改变所述虚拟对象区域的位置和大小至少之一。
7.根据权利要求1或2所述的图像处理设备，还包括形状识别单元，所述形状识别单元被配置为识别所述拍摄图像中所包含的背景的形状，
其中，所述确定单元基于所述第二识别单元所识别出的所述虚拟视点的三维位置、所述第一识别单元所识别出的所述特定对象的三维位置和三维大小以及所述形状识别单元所识别出的所述背景的形状，来确定所述虚拟对象区域的位置。
8.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为基于根据所述第二识别单元所识别出的所述虚拟视点的三维位置和所述第一识别单元所识别出的所述特定对象的三维位置和三维大小而确定的所述虚拟视点图像中所述特定对象的大小，来确定所述虚拟对象区域的位置。
9.根据权利要求1或2所述的图像处理设备，还包括第二生成单元，所述第二生成单元被配置为基于所述拍摄图像和所述虚拟视点来生成所述虚拟视点图像，
其中，所述确定单元被配置为确定所述第二生成单元所生成的所述虚拟视点图像中的布置所述虚拟对象的所述虚拟对象区域的位置。
10.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为基于所述第二识别单元所识别出的所述虚拟视点的三维位置和所述虚拟对象区域的三维位置之间的关系，来确定要布置在所述虚拟对象区域中的所述虚拟对象的大小。
11.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为基于所述第二识别单元所识别出的所述虚拟视点的三维位置和所述虚拟对象区域的三维位置之间的关系，来确定要布置在所述虚拟对象区域中的所述虚拟对象的内容。
12.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为基于所述虚拟视点图像中的所述虚拟对象区域的大小，来确定要布置在所述虚拟对象区域中的所述虚拟对象的大小和内容至少之一。
13.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为确定要用于在所述虚拟视点图像中显示广告的所述虚拟对象区域的位置。
14.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为确定要用于在所述虚拟视点图像中显示与所述多个照相机的拍摄对象有关的附加信息的所述虚拟对象区域的位置。
15.根据权利要求1或2所述的图像处理设备，还包括输出单元，所述输出单元被配置为输出在所述确定单元所确定的所述虚拟对象区域的位置处显示有所述虚拟对象的所述虚拟视点图像。
16.一种图像生成方法，包括：
第一识别步骤，用于识别多个照相机从不同方向分别拍摄的特定对象的三维位置和三维大小；
第二识别步骤，用于识别与基于所述多个照相机获得的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；
确定步骤，用于基于所述第一识别步骤中所识别出的所述特定对象的三维位置和三维大小、以及所述第二识别步骤中所识别出的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置；以及
生成步骤，用于基于根据所述第一识别步骤中所识别出的所述特定对象的三维位置和三维大小的所述特定对象的模型、根据所述确定步骤中所确定的所述虚拟对象区域的位置的所述虚拟对象的模型、以及视点信息，生成所述虚拟视点图像。
17.根据权利要求16所述的图像生成方法，其中，在所述确定步骤中，基于根据所述第二识别步骤中所识别出的所述虚拟视点的三维位置和所述第一识别步骤中所识别出的所述特定对象的三维位置和三维大小而确定的所述虚拟视点图像中所述特定对象的位置，来确定所述虚拟对象区域的位置。
18.根据权利要求16或17所述的图像生成方法，其中，在所述确定步骤中，将所述虚拟视点图像中所述特定对象的图像和所述虚拟对象的图像不重叠的位置确定为所述虚拟对象区域的位置。
19.一种计算机可读存储介质，其存储程序，所述程序用于使计算机执行根据权利要求1至15中任一项所述的图像处理设备的各单元所执行的操作。
CN201780056611.XA 2016-09-14 2017-08-23 图像处理设备、图像生成方法和存储介质 Active CN109716398B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016179529 2016-09-14
JP2016-179529 2016-09-14
JP2017-124110 2017-06-26
JP2017124110A JP6472486B2 (ja) 2016-09-14 2017-06-26 画像処理装置、画像処理方法及びプログラム
PCT/JP2017/030092 WO2018051747A1 (ja) 2016-09-14 2017-08-23 画像処理装置、画像生成方法及びプログラム

Publications (2)

Publication Number Publication Date
CN109716398A CN109716398A (zh) 2019-05-03
CN109716398B true CN109716398B (zh) 2023-11-17

Family

ID=61766456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056611.XA Active CN109716398B (zh) 2016-09-14 2017-08-23 图像处理设备、图像生成方法和存储介质

Country Status (5)

Country Link
US (2) US11089284B2 (zh)
EP (1) EP3514764A4 (zh)
JP (3) JP6472486B2 (zh)
KR (1) KR102230416B1 (zh)
CN (1) CN109716398B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6472486B2 (ja) 2016-09-14 2019-02-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7164968B2 (ja) 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7271095B2 (ja) * 2018-06-25 2023-05-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP7182915B2 (ja) * 2018-06-25 2022-12-05 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP7193938B2 (ja) * 2018-07-04 2022-12-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
WO2020079996A1 (ja) * 2018-10-16 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7297439B2 (ja) * 2018-12-19 2023-06-26 キヤノン株式会社 ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム
JP7296735B2 (ja) * 2019-01-23 2023-06-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20220172474A1 (en) * 2019-04-12 2022-06-02 Sony Group Corporation Image processing apparatus, 3d model generation method, and program
JP6833925B2 (ja) * 2019-07-29 2021-02-24 株式会社スクウェア・エニックス 画像処理プログラム、画像処理装置及び画像処理方法
CN112714302B (zh) * 2019-10-25 2023-04-25 苏州苏大维格科技集团股份有限公司 裸眼3d图像的制作方法及装置
JP7467074B2 (ja) 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN116075860A (zh) * 2020-07-30 2023-05-05 索尼集团公司 信息处理装置、信息处理方法、视频分发方法和信息处理系统
JP2022030985A (ja) * 2020-08-07 2022-02-18 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理システム
US11978177B2 (en) * 2020-09-25 2024-05-07 Intel Corporation Method and system of image processing of omnidirectional images with a viewpoint shift
JP2022090786A (ja) * 2020-12-08 2022-06-20 キヤノン株式会社 情報処理装置、画像生成装置、画像処理システム、情報処理方法、画像生成方法及びプログラム
CN117197319B (zh) * 2023-11-07 2024-03-22 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009516549A (ja) * 2005-11-17 2009-04-23 ダブル フュージョン リミテッド 対話式ゲーム用動的広告システム
JP2012048639A (ja) * 2010-08-30 2012-03-08 Kddi Corp 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
WO2013001902A1 (ja) * 2011-06-27 2013-01-03 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711176B2 (en) 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP2012128779A (ja) * 2010-12-17 2012-07-05 Panasonic Corp 仮想物体表示装置
GB2489454A (en) * 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
WO2013086739A1 (en) 2011-12-16 2013-06-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video
JP5295416B1 (ja) * 2012-08-01 2013-09-18 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5593356B2 (ja) 2012-08-22 2014-09-24 ヤフー株式会社 広告配信装置、広告配信方法および広告配信プログラム
JP2015022589A (ja) 2013-07-19 2015-02-02 国立大学法人大阪大学 表示装置、表示方法、表示プログラム、及び、表示プログラムを記憶した情報記憶媒体
US10074182B2 (en) 2013-11-14 2018-09-11 Microsoft Technology Licensing, Llc Presenting markup in a scene using depth fading
JP6027585B2 (ja) * 2014-09-24 2016-11-16 株式会社コロプラ 表示システム、表示方法及びプログラム
US9990028B2 (en) * 2014-10-03 2018-06-05 Verizon Patent And Licensing Inc. System and method for providing live augmented reality content
JP6501348B2 (ja) * 2014-12-26 2019-04-17 Kddi株式会社 自由視点画像生成装置、方法およびプログラム
US10687901B2 (en) 2016-08-17 2020-06-23 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
JP6472486B2 (ja) 2016-09-14 2019-02-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2018051747A1 (ja) 2016-09-14 2018-03-22 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009516549A (ja) * 2005-11-17 2009-04-23 ダブル フュージョン リミテッド 対話式ゲーム用動的広告システム
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
JP2012048639A (ja) * 2010-08-30 2012-03-08 Kddi Corp 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム
WO2013001902A1 (ja) * 2011-06-27 2013-01-03 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
二维多视点图像阵列采集及虚拟视点合成算法;吕源治等;《哈尔滨工程大学学报》;20130613(第06期);全文 *

Also Published As

Publication number Publication date
JP6472486B2 (ja) 2019-02-20
US20210337177A1 (en) 2021-10-28
JP2020095729A (ja) 2020-06-18
US20190199997A1 (en) 2019-06-27
KR102230416B1 (ko) 2021-03-23
JP2018049591A (ja) 2018-03-29
JP6659187B2 (ja) 2020-03-04
EP3514764A4 (en) 2020-03-18
KR20190045317A (ko) 2019-05-02
CN109716398A (zh) 2019-05-03
JP2019067427A (ja) 2019-04-25
US11089284B2 (en) 2021-08-10
EP3514764A1 (en) 2019-07-24
JP6950013B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
CN109716398B (zh) 图像处理设备、图像生成方法和存储介质
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP6918455B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102382247B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
JP6938123B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2005250950A (ja) マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP7476375B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20190138803A1 (en) Image processing apparatus, image processing system, and image processing method, and program
JP2022031304A (ja) 動画変換システム、動画変換方法及び動画変換プログラム
JP6812181B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
EP4054186A1 (en) Information processing apparatus, information processing method, and program
JP2020135290A (ja) 画像生成装置、画像生成方法、画像生成システム、及びプログラム
JP7296735B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5916365B2 (ja) 映像送信システム、映像送信方法及びコンピュータプログラム
JP5960472B2 (ja) 画像監視装置
KR101983727B1 (ko) 증강현실 가상 스튜디오 시스템 및 그 구현 방법
US20230177851A1 (en) Image processing apparatus, image processing method, and storage medium
US20240163391A1 (en) Information processing apparatus
JP2003141510A (ja) ポインティング対象画像出力方法及びその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant