CN110959286A - 图像处理装置、图像处理方法、程序以及远程通讯系统 - Google Patents

图像处理装置、图像处理方法、程序以及远程通讯系统 Download PDF

Info

Publication number
CN110959286A
CN110959286A CN201880049438.5A CN201880049438A CN110959286A CN 110959286 A CN110959286 A CN 110959286A CN 201880049438 A CN201880049438 A CN 201880049438A CN 110959286 A CN110959286 A CN 110959286A
Authority
CN
China
Prior art keywords
image
user
face
captured
trunk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880049438.5A
Other languages
English (en)
Inventor
赤尾雅人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110959286A publication Critical patent/CN110959286A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及能够以更少的计算量提供良好的用户体验的图像处理装置、图像处理方法、程序以及远程通讯系统。从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示装置的正面的用户而得到的图像，检测拍到用户的面部的面部区域、以及拍到用户的躯干的躯干区域。然后，基于面部区域来生成像从正面拍摄用户的面部而得到的正面面部图像，并基于躯干区域校正为像从正面拍摄用户的躯干而得到的正面躯干图像，从而将正面面部图像以及正面躯干图像结合。本技术例如能够应用于远程通讯系统。

Description

图像处理装置、图像处理方法、程序以及远程通讯系统
技术领域
本公开涉及图像处理装置、图像处理方法、程序以及远程通讯系统，特别是涉及能够以更少的计算量提供良好的用户体验的图像处理装置、图像处理方法、程序以及远程通讯系统。
背景技术
以往，正在推进住在遥远的地方的用户彼此能够好像相互面对那样实现远程的远程通讯系统的开发。在这样的远程通讯系统中，通过对每个用户朝向正面那样的图像进行显示，例如能够使得用户彼此的视线一致、用户相互从正面观察那样的姿势等。由此，能够向进行远程通讯的用户提供良好的用户体验。
例如，在专利文献1中公开了一种即使在对话者没有正对显示面的情况下下，也能够通过透视校正显示看上去像对话者彼此的视线一致那样的图像的远程系统。另外，在专利文献2中公开了一种生成三维模型数据，并在三维模型的表面粘贴纹理，从而能够显示看上去像朝向正面那样的图像的远程系统。
专利文献1:日本特开2011－97447号公报
专利文献2:日本特开2014－86773号公报
然而，在上述的专利文献1所公开的技术中，没有与全身像对应，并且在应用于大画面的情况下，难以使相互的用户的视线一致。另外，在上述的专利文献2所公开的技术中，由于除了计算量膨大之外，还需要高精度的深度信息，所以需要更高性能的装置。
发明内容
本公开是鉴于这样的状况而完成的，能够以更少的计算量提供良好的用户体验。
本公开的一个方面的图像处理装置具备：检测部，从由拍摄装置从显示装置的正面以外的方向拍摄面对显示图像的显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；正面面部生成部，基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；躯干校正部，基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及结合部，将上述正面面部图像以及上述正面躯干图像结合。
本公开的一个侧面的图像处理方法或者程序包括：从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示图像的显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及将上述正面面部图像以及上述正面躯干图像结合。
本公开的一个方面的远程通讯系统具备：通信装置，与远程的对象至少进行图像的收发；显示装置，对从对象侧发送来的图像进行显示；拍摄装置，从上述显示装置的正面以外的方向拍摄朝向上述显示装置的正面的用户；检测部，从由上述拍摄装置拍摄上述用户而获得的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；正面面部生成部，基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；躯干校正部，基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及结合部，将上述正面面部图像以及上述正面躯干图像结合。
在本公开的一个方面中，从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示图像的显示装置的正面的用户而得到的图像，检测拍到用户的面部的面部区域、以及拍到用户的躯干的躯干区域，基于面部区域来生成像从正面拍摄用户的面部那样的正面面部图像，基于躯干区域，校正为像从正面拍摄用户的躯干那样的正面躯干图像，将正面面部图像以及正面躯干图像结合。
根据本公开的一个方面，能够以更少的计算量提供良好的用户体验。
此外，并不一定限定此处所记载的效果，可以是本公开中所记载的任意一个效果。
附图说明
图1是表示应用了本技术的远程通讯系统的一个实施方式的构成例的框图。
图2是表示远程处理部的构成的框图。
图3是对远程通讯处理进行说明的流程图。
图4是对单独地对正面面部图像以及正面躯干图像进行图像处理的例子进行说明的图。
图5是对人物像合成处理的第一处理例进行说明的流程图。
图6是对单独地对上肢或者下肢进行透视校正的处理进行说明的图。
图7是对人物像合成处理的第二处理例进行说明的流程图。
图8是对拍到多个人物时的处理进行说明的图。
图9是对人物像合成处理的第三处理例进行说明的流程图。
图10是表示应用了本技术的计算机的一个实施方式的构成例的框图。
具体实施方式
以下，参照附图，详细地对应用了本技术的具体的实施方式进行说明。
＜远程通讯系统的结构例＞
图1是表示应用本技术的远程通讯系统的一个实施方式的构成例的框图。
如图1所示，远程通讯系统11构成为经由因特网等网络12连接处于遥远的地方的远程终端13A以及13B。
例如，在远程通讯系统11中，远程终端13A以及13B通过经由网络12进行远程通信，能够实时相互收发图像以及声音。由此，处于远程终端13A侧的用户A和处于远程终端13B侧的用户B能够好像彼此面对面那样进行对话，能够实现更实时的远程。
此外，远程终端13A以及13B同样地构成，在不需要区别它们的情况下，仅称为远程终端13，对于构成远程终端13A以及13B的各部，也同样地称呼。另外，将处于远程终端13侧的用户(例如，面对远程终端13A的用户A，面对远程终端13B的用户B)称为本身侧的用户。而且，将成为该用户的远程的对象的用户(例如，面对远程终端13A的用户B，面对远程终端13B的用户A)称为对象侧的用户。
远程终端13构成为具备传感器部21、提示部22以及远程处理部23。
传感器部21例如构成为具有对处于提示部22的前方的用户进行拍摄的拍摄元件、获取拍摄元件的拍摄范围中的深度信息的深度传感器以及输入该用户发出的声音的麦克风等声音输入元件。而且，传感器部21将拍摄本身侧的用户而获得的图像信号、检测该拍摄到的用户的深度而获得的深度信息、从本身侧的用户的声音获得的声音信号等供给至远程处理部23，并经由网络12发送到对象侧的远程终端13。此处，作为深度传感器，可以利用利用了红外光的反射的TOF(Time Of Flight：飞行时间)传感器，或利用利用了多个拍摄元件的立体照相机。
提示部22例如构成为具有对拍到对象侧的用户的图像进行显示的显示器、以及输出该用户发出的声音的扬声器等声音输出元件。例如，从远程处理部23向提示部22供给从对象侧的远程终端13经由网络12发送来的图像信号、声音信号等。
远程处理部23进行用于经由网络12进行通信的通信处理、用于使得双方的用户彼此能够实现良好的远程的图像处理等进行远程所需的各种处理。
例如，在远程终端13中，如图示那样，在构成提示部22的显示器的上侧配置有构成传感器部21的拍摄元件，传感器部21从上侧拍摄处于提示部22的前方的用户。因此，这样的配置的传感器部21拍摄用户而得到的图像被拍为该用户不朝向正面的方式。即，由于如从上侧俯视用户那样进行拍摄，所以例如以不能够使用户彼此的视线一致，并与从正面看到双方的用户那样的姿势不同地拍到的有不协调感的图像进行远程通讯。
因此，远程处理部23能够实施使用从传感器部21供给的图像信号以及深度信息，像以用户的全身朝向正面的姿势、且用户的面部高精度地朝向正面被拍那样合成图像的图像处理(以下，称为人物像合成处理)。此处，用户的面部高精度地朝向正面的图像是指，例如在本身侧的用户观察正面时，以好像双方的视线相视那样使对象侧的用户识别程度以面部朝向正面的方式被拍的图像。因此，通过远程终端13，用户能够以更没有不协调感的图像进行远程通讯，并能够获得更良好的用户体验。此外，以下，在远程终端13中进行的远程处理中，仅对与图像有关的处理进行说明，对于与声音有关的处理的说明，省略。
参照图2，对远程处理部23的构成进行说明。
如图2所示，远程处理部23构成为具备本地信息处理部31、编码部32、发送部33、接收部34、解码部35以及远程信息处理部36。
本地信息处理部31若从传感器部21被供给图像信号以及深度信息，则进行对拍到本身侧的用户的图像的各种处理(以下，称为本地信息处理)。例如，本地信息处理部31进行像以用户的全身朝向正面的姿势、且用户的面部高精度地朝向正面被拍到那样合成图像的人物像合成处理来作为本地信息处理。而且，本地信息处理部31将实施本地信息处理后的图像信号供给至编码部32。
编码部32例如是与H.320/H.323等通信协议对应的模块，进行对从本地信息处理部31供给的图像信号的编码，并供给至发送部33。
发送部33将由编码部32编码后的图像信号经由网络12发送至对象侧的远程终端13。
接收部34接收经由网络12从对象侧的远程终端13发送来的图像信号，并供给至解码部35。
解码部35是与和编码部32同样的通信协议对应的模块，对从接收部34供给的图像信号(由对象侧的远程终端13的编码部32编码的图像信号)进行解码，并供给至远程信息处理部36。
远程信息处理部36若从解码部35被供给图像信号，则进行对拍到对象侧的用户的图像的各种处理(以下，称为远程信息处理)，并供给至提示部22使其显示。例如，在对象侧的远程处理部23中未进行人物像合成处理的情况下，远程信息处理部36进行该人物像合成处理作为远程信息处理。
如以上那样构成远程处理部23，由本地信息处理部31或者远程信息处理部36进行人物像合成处理，从而能够显示用户的面部朝向正面、且从对象侧的用户观察时所看到的姿势那样的图像。通过利用这样的图像使用户进行远程通讯，远程终端13能够提供更良好的用户体验。
图3是对在远程终端13中进行的远程通讯处理进行说明的流程图。
例如，若接通远程终端13的电源，启动进行远程通讯的应用程序，则开始处理，在步骤S11中，发送部33以及接收部34进行建立与对象侧的远程终端13的通信的处理。然后，若远程终端13彼此开始通信，并通过每个传感器部21进行用户的拍摄来进行图像的收发，则将拍到双方的用户的图像显示于对象侧的提示部22。
在步骤S12中，例如，本地信息处理部31或者远程信息处理部36进行像以用户的全身朝向正面的姿势、且用户的面部高精度地朝向正面被拍到那样合成图像的人物像合成处理(参照图5)。
在步骤S13中，远程处理部23例如能够基于是否对在步骤S11中启动的应用程序进行了结束远程通讯的操作，来判定是否继续远程。
在步骤S13中，判定为继续远程的情况下，处理返回到步骤S12，以下，反复进行同样的处理。另一方面，在步骤S13中，判定为不继续远程通讯的情况下，处理进入步骤S14。在步骤S14中，发送部33以及接收部34进行切断与对象侧的远程终端13的通信的处理，并结束通信。
＜人物像合成处理的第一处理例＞
参照图4以及图5，对人物像合成处理的第一处理例进行说明。
例如，如图4的A所示，如通过配置在构成提示部22的显示器的上侧的构成传感器部21的拍摄元件拍摄用户，则如图4的B的左侧所示，拍摄像从上俯视用户那样的图像。即，成为像随着面部朝向下方、躯干朝向下侧而缩短的姿势那样拍到用户的图像。
针对这样的图像，在人物像合成处理中，检测拍到用户的面部的面部区域(被双点划线包围的区域)、和拍到用户的躯干的躯干区域(被点划线包围的区域)，单独进行分别使用了面部区域以及躯干区域的图像处理。
例如，由于人识别面部的方向的灵敏度较高，所以通过对面部区域进行3D建模，来生成像从正面拍摄用户的面部那样的正面面部图像。即，基于面部区域，使用深度信息来创建用户的面部的3D模型，像朝向正面那样进行对面部的3D模型的旋转处理后，粘贴面部的纹理，由此生成更高精度的正面面部图像。通过进行这样的图像处理，例如在本身侧的用户观察正面时，能够生成以像彼此相视那样使对象侧的用户识别的程度像从正面拍摄用户的面部那样的不协调感更少的正面面部图像。
另一方面，由于人识别躯干的方向的灵敏度较低，所以通过对躯干区域进行透视投影变换来实施透视校正，以使得成为像从正面拍摄用户的躯干那样的正面躯干图像。例如，通过按照利用虚拟地配置在用户的正面的虚拟拍摄部拍摄用户的方向和如图4的A所示从上侧利用传感器部21拍摄用户的方向的角度的参数，将用户的躯干假设为图4的A所示那样的平面来进行透视校正。此外，用于进行透视校正的参数可以手动调整，对于虚拟拍摄部的位置，能够相对于被拍摄体的位置(距离以及左右)静态或者动态地调整。通过进行这样的图像处理，例如，能够以较少的计算量求出像从正面拍摄用户的躯干那样的正面躯干图像。
而且，通过将分别单独进行图像处理而获得的正面面部图像以及正面躯干图像结合，如图4的B的右侧所示，从而能够生成像以用户的全身朝向正面的姿势、且用户的面部高精度地朝向正面被拍到那样的图像。
例如，在使用纵型的大型显示器作为提示部22的构成中，拍摄从更高位置拍到用户的全身的图像。通过对这样的图像实施人物像合成处理，能够有效地，特别是对躯干区域的透视校正有效地生成像以用户的全身朝向正面的姿势被写到那样的图像。
另外，对于通过3D建模高精度地生成正面面部图像的处理，如图4的B所示，除了对也包括面部的轮廓的整个面部进行处理之外，如图4的C所示，也可以仅对面部的轮廓的内侧的区域(面部内部区域)进行处理。通过这样仅使用面部内部区域，能够比使用整个面部的情况减少通过3D建模高精度地生成正面面部图像的处理中的计算量。另外，即使在仅使用面部内部区域来生成正面面部图像的情况下，也与使用整个面部的情况同样地能够生成用户的面部高精度地朝向正面的图像。
图5是对在图3的步骤S12中进行的人物像合成处理的第一处理例进行说明的流程图。此外，以下，对本地信息处理部31对拍到本身侧的用户的图像进行处理的情况进行说明，但在远程信息处理部36对拍到对象侧的用户的图像进行处理的情况下也进行同样的处理。
在步骤S21中，本地信息处理部31对基于从传感器部21供给的图像信号的图像中拍到的用户进行识别，并检测该用户的面部区域以及躯干区域。
在步骤S22中，本地信息处理部31通过基于在步骤S21中检测到的面部区域来进行使用了深度信息的3D建模，从而生成更高精度的正面面部图像。
在步骤S23中，本地信息处理部31基于在步骤S21中检测到的躯干区域，通过透视投影变换实施透视校正，以成为正面躯干图像。此外，步骤S22的处理以及步骤S23的处理能够在步骤S21的处理后并行进行。
在步骤S24中，本地信息处理部31进行将在步骤S22中生成的正面面部图像以及在步骤S23中生成的正面躯干图像结合的图像处理后，结束处理。例如，在通过图像拼接(image stitching)进行将正面面部图像以及正面躯干图像结合的图像处理时，通过利用面部区域以及躯干区域的位置的信息，能够减少计算量。另外，在进行该图像处理时，通过图像修复(image inpainting)，例如能够填补遮挡区域等。
通过进行以上那样的人物像合成处理，从而本地信息处理部31能够以较少的计算量输出像以用户的全身朝向正面的姿势、且用户的面部高精度地朝向正面被拍到那样的图像。由此，远程终端13能够提供用户彼此正面相对、双方的视线相视地实现远程那样的更良好的用户体验。
＜人物像合成处理的第二处理例＞
参照图6以及图7，对人物像合成处理的第二处理例进行说明。
例如，如参照图4上述那样，在将用户的躯干假设为平面来进行透视校正的情况下，例如，像用户是伸出手脚那样的姿势，或坐下或弯腰那样上肢或者下肢偏离躯干(包括的平面假设)，则成为不自然的正面躯干图像。
即，如图6的A所示，在用户进行一只手向前伸进行握手那样的姿态的情况下，该一只手偏离躯干的平面假设。另外，如图6的B所示，在用户坐在椅子等上的情况下，用户的脚偏离躯干的平面假设。
这样，在用户的上肢或者下肢偏离被设定为包括用户的躯干的平面假设的情况下，将其上肢或者下肢假设为棒，与躯干分别进行透视校正后，能够实施与躯干结合那样的图像处理。例如，识别用户的姿态，在是上肢或者下肢偏离躯干的平面假设那样的特定姿态的情况下，通过单独地对上肢、下肢、躯干进行透视校正，能够成为更自然的正面躯干图像。具体而言，在识别出进行握手的姿态的情况下，能够实施与躯干分开对进行握手的手进行透视校正那样的图像处理。
图7是对在图3的步骤S12中进行的人物像合成处理的第二处理例进行说明的流程图。
在步骤S31以及S32中，进行与图5的步骤S21以及S22同样的处理，在步骤S33中，本地信息处理部31从在步骤S31中检测到的躯干区域中检测用户的上肢以及下肢。
在步骤S34中，本地信息处理部31基于在步骤S33中检测到的上肢以及下肢来识别用户的姿态。而且，当上肢或者下肢正在进行从躯干的平面假设偏离那样的特定姿态的情况下，本地信息处理部31对正在进行那样的特定姿态进行识别。
在步骤S35中，本地信息处理部31判定用户的上肢或者下肢是否沿着被设定为包括用户的躯干的平面假设。例如，在步骤S34中识别出正在进行特定姿态的情况下，本地信息处理部31判定为用户的上肢或者下肢未沿着被设定为包括用户的躯干的平面假设。
在步骤S35中，本地信息处理部31判定为用户的上肢或者下肢沿着被设定为包括用户的躯干的平面假设的情况下，处理进入步骤S36。在步骤S36中，本地信息处理部31与图5的步骤S23同样地在被设定为包括用户的躯干的平面假设中与躯干一起对上肢以及下肢进行透视校正。
另一方面，在步骤S35中，本地信息处理部31判定为用户的上肢或者下肢未沿着被设定为包括用户的躯干的平面假设的情况下，处理进入步骤S37。在步骤S37中，本地信息处理部31单独地对上肢、下肢以及躯干进行透视校正。此外，该情况下，也可以仅单独地对判定为未沿着平面假设的上肢或者下肢进行透视校正。例如，如上述那样在识别出进行握手的姿态的情况下，也可以仅单独地对请求该握手的手进行透视校正。
在步骤S36或者S37的处理后，处理进入步骤S38，本地信息处理部31与图5的步骤S24同样地进行将正面面部图像以及正面躯干图像结合的图像处理后，结束处理。
通过进行以上那样的人物像合成处理，即使是用户的手、脚等向前方伸出那样的姿势，也能够避免本地信息处理部31实施不自然那样的图像处理。例如，在用户进行握手的姿态的情况下，若在被设定为包括用户的躯干的平面假设对请求该握手的手进行透视校正，则被实施了向前伸出的手看上去较长那样的不自然的图像处理。与此相对，在识别出该姿态时，能够通过单独地对手进行透视校正来实施图像处理，以成为更自然的图像。
＜人物像合成处理的第三处理例＞
参照图8以及图9，对人物像合成处理的第三处理例进行说明。
例如，如图8的上侧所示，在拍摄到多个(在图8的例子中为二人)的人物的图像中，在能够单独地分离每个人物的情况下，能够针对每个人物进行透视校正。由此，如图8的下侧所示，能够针对每个人物，进行像以全身朝向正面的姿势、且面部高精度地朝向正面被拍到那样合成图像的图像处理。
另外，例如，在从多个人物中通过检测姿态来识别重要人物，不能够单独地分离每个人物的情况下，也可以使用进行对该重要人物的透视校正的参数来对多个人物进行透视校正。另外，例如，可以从多个人物中将处于中心的人物识别为重要人物，或将对话中的人物识别为重要人物。
此时，获取拍到每个人物的区域的深度信息，在深度范围较窄时，能够进行使用了重要人物的参数的透视校正。此外，在深度范围较宽的情况下，可以不进行透视校正而后退。
图9是对在图3的步骤S12中进行的人物像合成处理的第三处理例进行说明的流程图。
在步骤S41中，本地信息处理部31对基于从传感器部21供给的图像信号的图像中所拍到的多个人物进行检测。
在步骤S42以及S43中，进行与图5的步骤S21以及S22同样的处理，在步骤S44中，本地信息处理部31对在步骤S41中检测到的多个人物的姿态进行检测，从这些人物中识别重要人物。
在步骤S45中，本地信息处理部31基于多个人物的躯干区域叠加的比例来判定是否能够单独地分离每个人物。例如，如果两个人物的躯干区域叠加的比例小于规定的比例(例如，30％)，则本地信息处理部31可以判断为能够单独地分离这两个人物。
在步骤S45中，判定为能够单独地分离每个人物的情况下，处理进入步骤S46，单独地对在步骤S44中识别出的重要人物和其它人物的躯干区域进行透视校正。
另一方面，在步骤S45中，判定为不能够单独地分离每个人物的情况下，处理进入步骤S47。
在步骤S47中，本地信息处理部31判定从在步骤S41中检测到的多个人物中的最近的人物到最远的人物的深度范围是否宽于规定范围。此处，成为判定的基准的规定范围被设为即使利用单一参数对多个人物的躯干区域进行透视校正也不会产生不协调感那样的深度范围。
在步骤S47中，判定为深度范围不宽于规定范围的情况下，处理进入步骤S48，本地信息处理部31利用用于对重要人物的躯干区域进行透视校正的参数对多个人物的躯干区域进行透视校正。
在步骤S46的处理后，在步骤S47中判定为深度范围宽于规定范围的情况下，或者在步骤S48的处理后，处理进入步骤S49。
在步骤S49中，本地信息处理部31进行将多个人物的面部区域以及躯干区域分别结合的图像处理后，结束处理。
通过进行以上那样的人物像合成处理，本地信息处理部31能够针对多个人物以较少的计算量输出像以每个人物的全身朝向正面的姿势、且每个人物的面部高精度地朝向正面被拍到那样的图像。
此外，构成传感器部21的拍摄元件并不限于配置在构成提示部22的显示器的上侧，也可以配置在显示器的右侧或者左侧等侧方，只要配置为从正面以外的方向拍摄朝向显示器的正面的用户即可。
＜计算机的构成例＞
其中，参考上述流程图说明的各处理不一定需要按照作为流程图记载的顺序按时间系列处理，也包括并行执行或者单独执行的处理(例如，并行处理或对象的处理)。此外，程序可以是由单个CPU处理的程序，也可以是由多个CPU分配处理的程序。另外，在本说明书中，系统表示由多个装置构成的装置整体。
另外，上述的一系列处理(图像处理方法)可由硬件执行或可由软件执行。在通过软件执行一系列处理的情况下，构成软件的程序从其上记录有程序的程序记录介质安装到组装于专用硬件中的计算机或可通过在其中安装各种类型的程序来执行各种功能的例如通用个人计算机。
图10是表示根据程序执行上述的一系列的处理的计算机的硬件的构成例的框图。
在计算机中，CPU(Central Processing Unit：中央处理器)101、ROM(Read OnlyMemory：只读存储器)102、RAM(Random Access Memory：随机存取存储器)103通过总线104相互连接。
在总线104上还连接有输入输出接口105。在输入输出接口105连接有由键盘、鼠标、麦克风等构成的输入部106、由显示器、扬声器等构成的输出部107、由硬盘、非易失性的存储器等构成的存储部108、由网络接口等构成的通信部109、驱动磁盘、光盘、光磁盘或半导体存储器等可拆卸介质111的驱动器110。
在如以上那样构成的计算机中，CPU101通过例如经由输入输出接口105以及总线104将存储部108中存储的程序加载到RAM103中并执行，从而进行上述的一系列的处理。
计算机(CPU101)执行的程序例如通过记录在由磁盘(包括软盘)、光盘(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)等)、光磁盘或半导体存储器等构成的封装介质亦即可拆卸介质111，或经由局域网、因特网、数字卫星广播这样的有线或者无线的传送介质提供。
而且，程序能够通过将可拆卸介质111安装到驱动器110中而经由输入输出接口105安装到存储部108中。另外，程序能够通过通信部109经由有线或者无线的传送介质接收并安装到存储部108中。此外，程序能够预先安装到ROM102、存储部108中。
＜构成的组合例＞
此外，本技术也能够采取以下那样的结构。
(1)
一种图像处理装置，具备：
检测部，从由拍摄装置从显示装置的正面以外的方向拍摄面对显示图像的显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
正面面部生成部，基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；
躯干校正部，基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及
结合部，将上述正面面部图像以及上述正面躯干图像结合。
(2)根据上述(1)所述的图像处理装置，
上述正面面部生成部根据上述面部区域创建上述用户的面部的3D模型，并如朝向正面那样进行对上述3D模型的旋转处理后，粘贴上述用户的面部的纹理，从而生成上述正面面部图像。
(3)根据上述(1)或者(2)所述的图像处理装置，
上述躯干校正部通过对上述躯干区域进行透视投影变换来求出上述正面躯干图像。
(4)根据上述(3)所述的图像处理装置，
在假设包括上述用户的躯干的平面，且上述用户的上肢或者下肢未沿着该平面的情况下，上述躯干校正部与上述躯干区域分开对上述上肢或者上述下肢进行校正。
(5)根据上述(1)～(4)中的任意一项所述的图像处理装置，
在由上述拍摄装置拍摄到的图像中拍到多个人物的情况下，上述躯干校正部单独地对每个人物的上述躯干区域进行校正。
(6)根据上述(1)～(4)中的任意一项所述的图像处理装置，
在由上述拍摄装置拍摄的图像中拍到多个人物的情况下，上述躯干校正部使用用于那些人物中的特定人物的上述躯干区域的校正的参数来校正全部人物的上述躯干区域。
(7)一种图像处理方法，包括：
对收发图像的远程通讯中的上述图像进行处理的图像处理装置，
从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示图像的显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；
基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及
将上述正面面部图像以及上述正面躯干图像结合。
(8)一种程序，使对收发图像的远程通讯中的上述图像进行处理的图像处理装置的计算机执行图像处理，
上述图像处理包括：
从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示图像的显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；
基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及
将上述正面面部图像以及上述正面躯干图像结合。
(9)一种远程通讯系统，具备：
通信装置，与远程的对象至少进行图像的收发；显示装置，对从对象侧发送来的图像进行显示；
拍摄装置，从上述显示装置的正面以外的方向拍摄朝向上述显示装置的正面的用户；
检测部，从由上述拍摄装置拍摄上述用户而获得的图像检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
正面面部生成部，基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；
躯干校正部，基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及
结合部，将上述正面面部图像以及上述正面躯干图像结合。
此外，本实施方式并不限于上述的实施方式，能够在不脱离本公开的要旨的范围中进行各种变更。另外，本说明书中所记载的效果只是例示的，并不是限定的，也可以是其它效果。
附图标记的说明
11 远程通讯系统，12 网络，13 远程终端，21 传感器部，22 提示部，23 远程处理部，31 本地信息处理部，32 编码部，33 发送部，34 接收部，35 解码部，36 远程信息处理部。

Claims (9)

1.一种图像处理装置，具备：
检测部，从由拍摄装置从显示图像的显示装置的正面以外的方向拍摄面对该显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
正面面部生成部，基于上述面部区域，生成像从正面拍摄了上述用户的面部那样的正面面部图像；
躯干校正部，基于上述躯干区域，校正为像从正面拍摄了上述用户的躯干那样的正面躯干图像；以及
结合部，将上述正面面部图像以及上述正面躯干图像结合。
2.根据权利要求1所述的图像处理装置，其中，
上述正面面部生成部在根据上述面部区域创建上述用户的面部的3D模型并以转向正面的方式进行对上述3D模型的旋转处理后，通过粘贴上述用户的面部的纹理，从而生成上述正面面部图像。
3.根据权利要求1所述的图像处理装置，其中，
上述躯干校正部通过对上述躯干区域进行透视投影变换来求出上述正面躯干图像。
4.根据权利要求3所述的图像处理装置，其中，
在假设了包括上述用户的躯干的平面且上述用户的上肢或者下肢未沿着该平面的情况下，上述躯干校正部独立于上述躯干区域而单独对上述上肢或者上述下肢进行校正。
5.根据权利要求1所述的图像处理装置，其中，
在由上述拍摄装置拍摄到的图像中拍到多个人物的情况下，上述躯干校正部单独对每个人物的上述躯干区域进行校正。
6.根据权利要求1所述的图像处理装置，其中，
在由上述拍摄装置拍摄的图像中拍到多个人物的情况下，上述躯干校正部使用这些人物中的特定的人物的上述躯干区域的校正所使用的参数来校正全部人物的上述躯干区域。
7.一种图像处理方法，包括：
对收发图像的远程通讯中的上述图像进行处理的图像处理装置，
从由拍摄装置从显示图像的显示装置的正面以外的方向拍摄面对该显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
基于上述面部区域，生成像从正面拍摄了上述用户的面部那样的正面面部图像；
基于上述躯干区域，校正为像从正面拍摄了上述用户的躯干那样的正面躯干图像；以及
将上述正面面部图像以及上述正面躯干图像结合。
8.一种程序，使对收发图像的远程通讯中的上述图像进行处理的图像处理装置的计算机执行图像处理，上述图像处理包括：
从由拍摄装置从显示图像的显示装置的正面以外的方向拍摄面对该显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
基于上述面部区域，生成像从正面拍摄了上述用户的面部那样的正面面部图像；
基于上述躯干区域，校正为像从正面拍摄了上述用户的躯干那样的正面躯干图像；以及
将上述正面面部图像以及上述正面躯干图像结合。
9.一种远程通讯系统，具备：
通信装置，与通讯的对象至少进行图像的收发；
显示装置，对从对象侧发送来的图像进行显示；
拍摄装置，从上述显示装置的正面以外的方向拍摄面对上述显示装置的正面的用户；
检测部，从由上述拍摄装置拍摄上述用户而获得的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；
正面面部生成部，基于上述面部区域，生成像从正面拍摄了上述用户的面部那样的正面面部图像；
躯干校正部，基于上述躯干区域，校正为像从正面拍摄了上述用户的躯干那样的正面躯干图像；以及
结合部，将上述正面面部图像以及上述正面躯干图像结合。
CN201880049438.5A 2017-07-31 2018-07-17 图像处理装置、图像处理方法、程序以及远程通讯系统 Withdrawn CN110959286A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017147338 2017-07-31
JP2017-147338 2017-07-31
PCT/JP2018/026656 WO2019026598A1 (ja) 2017-07-31 2018-07-17 画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム

Publications (1)

Publication Number Publication Date
CN110959286A true CN110959286A (zh) 2020-04-03

Family

ID=65232798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049438.5A Withdrawn CN110959286A (zh) 2017-07-31 2018-07-17 图像处理装置、图像处理方法、程序以及远程通讯系统

Country Status (3)

Country Link
US (1) US20200186729A1 (zh)
CN (1) CN110959286A (zh)
WO (1) WO2019026598A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503161A (zh) * 2020-07-27 2022-05-13 株式会社威亚视 资讯处理装置、3d模型生成方法、及程序

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738873A (ja) * 1993-07-23 1995-02-07 Atr Tsushin Syst Kenkyusho:Kk 人物像の実時間認識合成方法
US20020171648A1 (en) * 2001-05-17 2002-11-21 Satoru Inoue Image processing device and method for generating three-dimensional character image and recording medium for storing image processing program
US20030051255A1 (en) * 1993-10-15 2003-03-13 Bulman Richard L. Object customization and presentation system
CN1732687A (zh) * 2002-12-30 2006-02-08 摩托罗拉公司 用于远程临场通信的方法、系统和装置
CN102340648A (zh) * 2011-10-20 2012-02-01 鸿富锦精密工业（深圳）有限公司 用于视频通信系统的视频通信装置、图像处理器及方法
CN102648484A (zh) * 2009-12-07 2012-08-22 微软公司 虚拟目标跟踪
CN104284129A (zh) * 2013-07-12 2015-01-14 英特尔公司 视频聊天数据处理
JP2015106212A (ja) * 2013-11-29 2015-06-08 カシオ計算機株式会社 表示装置、画像処理方法及びプログラム
CN104935860A (zh) * 2014-03-18 2015-09-23 北京三星通信技术研究有限公司 视频通话实现方法及装置
CN105247881A (zh) * 2013-05-30 2016-01-13 索尼公司 信息处理设备、显示控制方法以及程序
JP2017021603A (ja) * 2015-07-10 2017-01-26 日本電信電話株式会社 正当性確認装置、方法、媒体発行装置、方法、及びプログラム
CN106415447A (zh) * 2014-06-30 2017-02-15 索尼公司 信息处理装置、信息处理方法、计算机程序和图像处理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199503A (ja) * 2010-03-18 2011-10-06 Pfu Ltd 撮像装置及びプログラム
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738873A (ja) * 1993-07-23 1995-02-07 Atr Tsushin Syst Kenkyusho:Kk 人物像の実時間認識合成方法
US20030051255A1 (en) * 1993-10-15 2003-03-13 Bulman Richard L. Object customization and presentation system
US20020171648A1 (en) * 2001-05-17 2002-11-21 Satoru Inoue Image processing device and method for generating three-dimensional character image and recording medium for storing image processing program
CN1732687A (zh) * 2002-12-30 2006-02-08 摩托罗拉公司 用于远程临场通信的方法、系统和装置
CN102648484A (zh) * 2009-12-07 2012-08-22 微软公司 虚拟目标跟踪
CN102340648A (zh) * 2011-10-20 2012-02-01 鸿富锦精密工业（深圳）有限公司 用于视频通信系统的视频通信装置、图像处理器及方法
CN105247881A (zh) * 2013-05-30 2016-01-13 索尼公司 信息处理设备、显示控制方法以及程序
CN104284129A (zh) * 2013-07-12 2015-01-14 英特尔公司 视频聊天数据处理
JP2015106212A (ja) * 2013-11-29 2015-06-08 カシオ計算機株式会社 表示装置、画像処理方法及びプログラム
CN104935860A (zh) * 2014-03-18 2015-09-23 北京三星通信技术研究有限公司 视频通话实现方法及装置
CN106415447A (zh) * 2014-06-30 2017-02-15 索尼公司 信息处理装置、信息处理方法、计算机程序和图像处理系统
JP2017021603A (ja) * 2015-07-10 2017-01-26 日本電信電話株式会社 正当性確認装置、方法、媒体発行装置、方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503161A (zh) * 2020-07-27 2022-05-13 株式会社威亚视 资讯处理装置、3d模型生成方法、及程序
TWI801936B (zh) * 2020-07-27 2023-05-11 日商威亞視股份有限公司 資訊處理裝置、3d模型生成方法、及程式

Also Published As

Publication number Publication date
WO2019026598A1 (ja) 2019-02-07
US20200186729A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US12096200B2 (en) Personalized HRTFs via optical capture
JP7185434B2 (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
JP6017854B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2018014730A1 (zh) 一种摄像机参数调整方法、导播摄像机及系统
WO2023119557A1 (ja) アバター表示装置、アバター生成装置及びプログラム
JP2010250452A (ja) 任意視点画像合成装置
WO2015186519A1 (ja) 画像処理装置及び画像表示装置
JP4144492B2 (ja) 画像表示装置
KR20230035382A (ko) 신장 측정 방법 및 장치, 및 단말기
CN111724470B (zh) 一种处理方法及电子设备
JP2019114842A (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
KR101540113B1 (ko) 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2004193962A (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
JP2012248221A (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP2003009108A (ja) 画像通信システム、画像通信装置、および画像通信方法
CN110959286A (zh) 图像处理装置、图像处理方法、程序以及远程通讯系统
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
US9282317B2 (en) Method and apparatus for processing an image and generating information representing the degree of stereoscopic effects
JP2022054192A (ja) リモート会議システム、サーバ、写真撮影装置、音声出力方法、及びプログラム
JP2015156540A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2019133276A (ja) 画像処理システム、端末
JP6534120B2 (ja) 画像通信装置
JP5916365B2 (ja) 映像送信システム、映像送信方法及びコンピュータプログラム
KR20090081190A (ko) 휴대용 단말기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200403