CN116503523A - 信息处理装置、信息处理方法及非暂时性计算机可读介质 - Google Patents

信息处理装置、信息处理方法及非暂时性计算机可读介质 Download PDF

Info

Publication number
CN116503523A
CN116503523A CN202310040963.3A CN202310040963A CN116503523A CN 116503523 A CN116503523 A CN 116503523A CN 202310040963 A CN202310040963 A CN 202310040963A CN 116503523 A CN116503523 A CN 116503523A
Authority
CN
China
Prior art keywords
user
image
information processing
avatar
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310040963.3A
Other languages
English (en)
Inventor
堀达朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN116503523A publication Critical patent/CN116503523A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Abstract

本公开提供一种以不反映不需要的信息的方式生成化身的信息处理装置、信息处理方法及非暂时性计算机可读介质。信息处理装置(10、20)具备控制部(12、22),该控制部(12、22)基于拍摄用户而得到的用户图像,以三维对象(40)的形式生成用户的化身。控制部(12、22)获取拍摄用户而得到的新的图像(70),生成从新的图像(70)中将一部分排除而得到的排除图像(80),并通过将排除图像(80)重叠描绘于用户图像的至少一部分来更新用户的化身。

Description

信息处理装置、信息处理方法及非暂时性计算机可读介质
技术领域
本公开涉及信息处理装置、信息处理方法及非暂时性计算机可读介质。
背景技术
已知一种使用用户的图像来生成化身(avatar)的方法(例如,参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2020-119156号公报
在基于用户的图像来生成化身的情况下,有时图像中会包含不想使其反映于化身的信息。要求以不反映不需要的信息的方式生成化身。
发明内容
鉴于该情形而完成的本公开的目的在于以不反映不需要的信息的方式生成化身。
本公开的一个实施方式的信息处理装置具备控制部,所述控制部基于拍摄用户而得到的用户图像,以三维对象的形式生成所述用户的化身。所述控制部获取拍摄所述用户而得到的新的图像,通过从所述新的图像中将一部分排除来生成排除图像,并通过将所述排除图像重叠描绘于所述用户图像的至少一部分来更新所述用户的化身。
本公开的一个实施方式的信息处理方法包括:基于拍摄用户而得到的用户图像,以三维对象的形式生成所述用户的化身。所述信息处理方法包括:获取拍摄所述用户而得到的新的图像。所述信息处理方法包括:通过从所述新的图像中将一部分排除来生成排除图像。所述信息处理方法包括:通过将所述排除图像重叠描绘于所述用户图像的至少一部分来更新所述用户的化身。
本公开的一个实施方式的非暂时性计算机可读介质储存信息处理程序。所述信息处理程序使信息处理装置基于拍摄用户而得到的用户图像,以三维对象的形式生成所述用户的化身。所述信息处理程序使所述信息处理装置获取拍摄所述用户而得到的新的图像。所述信息处理程序使所述信息处理装置通过从所述新的图像中将一部分排除来生成排除图像。所述信息处理程序使所述信息处理装置通过将所述排除图像重叠描绘于所述用户图像的至少一部分来更新所述用户的化身。
发明效果
根据本公开的一个实施方式的信息处理装置、信息处理方法及非暂时性计算机可读介质,能以不反映不需要的信息的方式生成化身。
附图说明
图1是表示一个实施方式的信息处理系统的构成例的框图。
图2是表示正面和左右侧面的用户图像的一个例子的图。
图3是表示将图2的用户图像进行合成而得到的图像的一个例子的图。
图4是表示将图3的合成图像贴附于表面而得到的三维对象的例子的图。
图5是表示新的用户图像的一个例子的图。
图6是表示将图5的新的用户图像重叠于图3的合成图像的例子的图。
图7是表示通过将新的用户图像的一部分排除而生成的排除图像的一个例子的图。
图8是表示将图7的排除图像重叠于图3的合成图像的例子的图。
图9是表示一个实施方式的信息处理方法的过程例的流程图。
附图标记说明
1:信息处理系统;10:服务器(12:服务器控制部、14:服务器I/F);20:终端装置(20A:第一终端装置、20B:第二终端装置、22:终端控制部、24:终端I/F、26:拍摄部、28:显示部);30:网络;40:三维对象(42:正面、44:侧面);50L、50C、50R:左侧面、正面、右侧面的用户图像;52、54:第一标记、第二标记;56:通常点;60:合成图像;70:新的图像(76:通常点、78:排除对象点);80:排除图像(82:排除范围)。
具体实施方式
(信息处理系统1的构成例)
如图1所示,一个实施方式的信息处理系统1具备服务器10和终端装置20。设为终端装置20由用户持有。设为终端装置20包括第一终端装置20A。设为第一终端装置20A由第一用户持有。虽非必须,但终端装置20也可以还包括第二终端装置20B。设为第二终端装置20B由第二用户持有。设为服务器10与终端装置20经由网络30以能彼此通过有线或无线来通信的方式连接。服务器10与终端装置20也可以通过不经由网络30的有线或无线的通信而以能彼此通信的方式连接。
信息处理系统1被配置为基于拍摄用户而得到的图像来生成用户的化身。拍摄用户而得到的图像也被称为用户图像。用户图像既可以包括RGB图像,也可以包括用户的深度图像。以下,对信息处理系统1的构成进行说明。
<服务器10>
服务器10具备服务器控制部12和服务器接口14。服务器接口14也被称为服务器I/F14。
服务器控制部12对服务器10的至少一个构成部进行控制。服务器控制部12可以被配置为包括一个以上的处理器。在本实施方式中,“处理器”是通用处理器、专用于特定的处理的专用处理器等,但不限于此。服务器控制部12也可以被配置为包括一个以上的专用电路。专用电路例如可以包括FPGA(Field-Programmable Gate Array:现场可编程门阵列)或ASIC(Application Specific Integrated Circuit:专用集成电路)。服务器控制部12既可以被配置为包括专用电路来代替处理器,也可以被配置为包括处理器并且包括专用电路。
服务器10也可以还具备存储部。存储部例如是半导体存储器、磁存储器或光存储器等,但不限于此。存储部例如可以作为主存储装置、辅助存储装置或高速缓冲存储器(cache memory)发挥功能。存储部也可以包括磁盘等电磁存储介质。存储部也可以包括非暂时性计算机可读介质。存储部储存用于服务器10的动作的任意的信息。例如,存储部可以储存系统程序或应用程序等。存储部也可以包括在服务器控制部12中。
服务器I/F14从服务器控制部12输出信息或数据等,或者将信息或数据等输入至服务器控制部12。服务器I/F14可以包括被配置为能经由网络30与终端装置20等其他设备通信的通信模块。通信模块例如可以兼容4G(4th Generation:第四代)或5G(5thGeneration:第五代)等移动通信标准。通信模块也可以兼容LAN(Local Area Network:局域网)等通信标准。通信模块也可以兼容有线或无线的通信标准。不限于此,通信模块可以兼容各种通信标准。服务器I/F14也可以被配置为能与通信模块连接。
服务器I/F14可以被配置为包括从用户接受信息或数据等的输入的输入设备。输入设备例如可以被配置为包括触摸面板或触摸传感器、或者鼠标等点击设备。输入设备也可以被配置为包括物理按键(physical key)。输入设备也可以被配置为包括麦克风等声音输入设备。
服务器I/F14可以被配置为包括向用户输出信息或数据等的输出设备。输出设备例如可以包括输出图像或者文字或图形等视觉信息的显示设备。显示设备例如可以被配置为包括LCD(Liquid Crystal Display:液晶显示器)、有机EL(Electro-Luminescence:电致发光)显示器或无机EL显示器、或者PDP(Plasma Display Panel:等离子体显示板)等。不限于这些显示器,显示设备可以被配置为包括其他各种方式的显示器。显示设备可以被配置为包括LED(Light Emitting Diode:发光二极管)或LD(Laser Diode:激光二极管)等发光设备。显示设备可以被配置为包括其他各种设备。输出设备例如可以包括输出声音等听觉信息的扬声器等声音输出设备。不限于这些例子,输出设备可以包括其他各种设备。
服务器10可以包括一个或能彼此通信的多个服务器装置。
<终端装置20>
终端装置20具备终端控制部22和终端I/F24。终端控制部22可以被配置为包括一个以上的处理器或一个以上的专用电路。终端装置20可以被配置为还包括存储部。终端装置20的存储部可以被配置为与服务器10的存储部相同或类似。
终端I/F24可以被配置为包括通信模块。终端I/F24可以被配置为与服务器I/F14相同或类似。
终端I/F24可以被配置为包括从用户接受信息或数据等的输入的输入设备。输入设备可以被配置为包括作为服务器I/F14而进行了说明的各种设备。
虽非必须,但终端装置20也可以还具备拍摄部26。拍摄部26可以包括拍摄RGB图像的摄像机等拍摄设备。拍摄部26可以包括获取深度图像的深度传感器(depth sensor)或立体摄像机等测距设备。终端装置20也可以通过终端I/F24从外部的拍摄设备或测距设备获取用户图像。也可以是,终端I/F24包含拍摄设备或测距设备的功能。
虽非必须,但终端装置20也可以还具备显示部28。显示部28可以被配置为能显示包含用户的化身的虚拟三维空间。显示部28可以被配置为包括作为服务器I/F14的构成而进行了举例示出的LCD等各种显示设备。也可以是,终端I/F24包含显示部28的功能。
信息处理系统1所具备的终端装置20的数量不限于一个,可以为两个以上。终端装置20可以被配置为包括智能手机或平板电脑等便携式终端、或者笔记本PC(PersonalComputer:个人计算机)或平板PC等PC。不限于这些例子,终端装置20可以被配置为包括各种设备。
(信息处理系统1的动作例)
在本实施方式的信息处理系统1中,可以是,服务器10或终端装置20中的至少一方生成或更新用户的化身。生成用户的化身的服务器10或终端装置20也被统称为信息处理装置。以下,服务器10的服务器控制部12或终端装置20的终端控制部22被简称为控制部。服务器10的服务器I/F14或终端装置20的终端I/F24被简称为I/F。以下,对信息处理装置生成和更新化身的动作例进行说明。
<化身的生成>
控制部获取拍摄用户而得到的图像来作为用户图像。控制部也可以获取从至少两个方向拍摄用户而得到的图像来作为用户图像。如图2所举例示出的那样,控制部可以获取从左侧面拍摄用户而得到的部分图像50L、从正面拍摄用户而得到的部分图像50C以及从右侧面拍摄用户而得到的部分图像50R来作为用户图像。在本实施方式中,控制部获取用户的RGB图像和深度图像这两方来作为用户图像。图2所举例示出的图像既可以是RGB图像,也可以是深度图像。控制部也可以仅获取RGB图像来作为用户图像。控制部可以通过用户所持有的终端装置20的终端I/F24或显示部28来向用户输出如下指示:对终端装置20的拍摄部26进行操作,从至少两个方向拍摄用户自身。控制部也可以向用户输出如下指示:请用户移动以调整用户相对于外部装置的摄像机或测距传感器的朝向,从而通过摄像机或测距传感器等来从至少两个方向拍摄用户。
设为部分图像50L和部分图像50C这两方均包含表示用户的外观的特征的第一标记(landmark)52。设为部分图像50C和部分图像50R这两方均包含表示用户的外观的特征的第二标记54。第一标记52和第二标记54例如可以与用户的眼睛、鼻子、嘴或耳朵等用户的面部的特征点建立对应。第一标记52和第二标记54例如也可以与用户的手、脚、头、脖子或躯体等用户的身体的特征点建立对应。第一标记52和第二标记54也被简称为标记。用户图像中不被视为用户的外观的特征的部分被称为通常点56。控制部可以在获取用户图像的同时获取与第一标记52和第二标记54等用户的外观的特征相关的信息。控制部也可以从用户图像中检测第一标记52和第二标记54等用户的外观的特征。
控制部能通过基于第一标记52的位置将部分图像50L和部分图像50C进行合成并且基于第二标记54的位置将部分图像50C和部分图像50R进行合成来生成图3所举例示出的合成图像60。合成图像60是将部分图像50L、部分图像50C以及部分图像50R进行合成而得到的图像。合成图像60用于生成用户的化身。合成图像60既可以包括将用户的RGB图像进行合成而得到的图像,也可以包括将用户的深度图像进行合成而得到的图像。合成图像60也可以被生成为将用户的RGB图像和深度图像进行合成而得到的图像。
用户图像中检测到第一标记52和第二标记54等用户的特征的位置离用户图像的端部越近,则在两张用户图像被合成的情况下重叠的区域的面积越小。重叠的区域的面积越小,则合成图像60的面积会越大。控制部可以以在离用户图像的端部近的位置检测到第一标记52和第二标记54等用户的特征的方式获取用户图像。例如,在获取用户图像时,控制部可以向用户输出如下指示:请用户移动,使得用户的特征映现在离用户图像的端部近的位置。此外,在获取两张以上的用户图像时,控制部可以向用户输出如下指示:请用户移动,使得共同的特征分别映现在至少两张用户图像中。
如图4所举例示出的那样,控制部可以通过将合成图像60描绘(贴附)于三维对象40的外表面来以三维对象40的形式生成用户的化身。图4所举例示出的三维对象40具有正面42和侧面44。设为正面42和侧面44由曲面连接。控制部将合成图像60中的左侧面的部分图像50L的部分描绘于三维对象40的侧面44。控制部将合成图像60中的正面的部分图像50C的部分描绘于三维对象40的正面42。在该情况下,合成图像60中部分图像50L与部分图像50C重叠的部分被描绘于使三维对象40的正面42与侧面44之间相连的曲面。
在图4的例子中,沿着三维对象40的外表面描绘了合成图像60。在合成图像60包括深度图像的情况下,控制部可以使由深度图像确定的凹凸反映于三维对象40的外表面的形状。
在获取了从一个方向拍摄用户而得到的一张图像来作为用户图像的情况下,控制部可以通过沿着三维对象40的外表面描绘该一张图像来生成化身。
三维对象40的外表面的形状不限于如图4所举例示出的那样角成为倒圆角形状的棱柱形状,可以是由各种平面或曲面表示的各种形状。三维对象40的外表面的形状例如既可以是包括椭圆面的形状,也可以是将多个立体组合而成的形状。
在图3和图4所举例示出的合成图像60中,第一标记52、第二标记54以及通常点56以空出间隔的方式配置。合成图像60也可以被配置为第一标记52、第二标记54以及通常点56相连。在将合成图像60描绘于三维对象40的外表面时,控制部可以以第一标记52、第二标记54以及通常点56相连的方式进行描绘。控制部也可以基于预先设定的用户的皮肤的颜色等来描绘第一标记52、第二标记54以及通常点56之间的部分。
如以上叙述的那样,在信息处理系统1中,能基于用户图像来生成用户的化身。服务器10既可以基于由终端装置20获取到的用户图像来生成化身,也可以基于由外部装置获取到的用户图像来生成化身。第一终端装置20A既可以基于由第二终端装置20B获取到的用户图像来生成化身,也可以基于由第一终端装置20A自身获取到的用户图像来生成化身。相反,第二终端装置20B既可以基于由第一终端装置20A获取到的用户图像来生成化身,也可以基于由第二终端装置20B自身获取到的用户图像来生成化身。
<化身的显示>
在服务器10生成了化身的情况下,服务器10可以将化身的信息输出至终端装置20来使终端装置20的显示部28显示化身。在终端装置20生成了化身的情况下,终端装置20既可以在终端装置20自身的显示部28显示化身,也可以将化身的信息输出至其他终端装置20来使其他终端装置20的显示部28显示化身。
终端装置20的终端控制部22可以将化身显示于虚拟三维空间内。化身可以被配置为能在虚拟三维空间内旋转自如地显示的对象。
不限于终端装置20,化身也可以显示于外部的显示装置。
<化身的更新>
如图5所举例示出的那样,控制部获取新的用户图像70。新的用户图像70既可以包括从与生成化身时所使用的部分图像50L、50C或50R等相同的方向拍摄到的图像,也可以包括从与生成化身时所使用的部分图像50L、50C或50R等不同的方向拍摄到的图像。控制部获取与新的用户图像70中所包含的第一标记52或第二标记54等用户的外观的特征相关的信息。在图5中,设为新的用户图像70包含第一标记52。控制部可以在获取新的用户图像70的同时获取与新的用户图像70中所包含的用户的外观的特征相关的信息。控制部也可以从新的用户图像70中检测用户的外观的特征。新的用户图像70中不被视为用户的外观的特征的部分被称为通常点76。
在已经用于化身的合成图像60中所包含的第一标记52或第二标记54等用户的外观的特征也包含在新的用户图像70中的情况下,控制部可以基于该特征的位置来更新合成图像60。具体而言,控制部可以通过以合成图像60中所包含的特征与新的用户图像70中所包含的特征重叠的方式将新的用户图像70重叠描绘(覆盖)于合成图像60来更新合成图像60。
例如,如图6所示,控制部可以以合成图像60中所包含的第一标记52的位置与新的用户图像70中所包含的第一标记52的位置一致的方式将新的用户图像70重叠描绘于合成图像60。在该情况下,新的用户图像70被描绘为伸出至合成图像60的下方。控制部可以将合成图像60更新为扩张了从原来的合成图像60伸出的部分而得到的图像。控制部也可以将合成图像60更新为删除了从原来的合成图像60伸出的部分而得到的图像。
用户有时不想使映现在新的用户图像70中的信息的一部分反映于化身。用户例如有时不想使发型的变更或服装等脖子以下的部分的变更反映于化身。控制部可以通过在新的用户图像70中将不使其反映于化身的部分排除而得到的图像来更新合成图像60。
例如,如图7所示,控制部将新的用户图像70中的、用户不想使其反映于化身的部分识别为排除范围82。排除范围82中所包含的点被称为排除点78。控制部通过从新的用户图像70中将排除范围82排除来生成排除图像80。在图7的用户图像70中,设为第一标记52是用户的脖子。在该情况下,不想使脖子以下的部分的变更反映于化身这一用户的意向被反映于排除范围82。
例如,如图8所示,控制部可以使用排除图像80来更新合成图像60。控制部可以以排除图像80中所包含的第一标记52的位置与合成图像60中所包含的第一标记52的位置一致的方式将排除图像80重叠描绘于合成图像60。通过这样做,关于用户不想使其反映于化身的部分,未对合成图像60进行更新。
控制部可以基于用户所指定的信息来确定排除范围82。控制部可以基于用户所指定的身体的部位来确定排除范围82。此外,控制部可以基于用户的特征来确定排除范围82。具体而言,控制部可以接受指定作为用于确定排除范围82的基准的用户的特征的输入。控制部可以接受指定为例如以用户的脖子为基准将脖子以下的部分(服装等)设为排除范围82的信息的输入。此外,控制部可以从用户接受指定为例如以用户的眼睛为基准将眼睛以上的部分(发型等)设为排除范围82的信息的输入。控制部也可以基于用户所指定的颜色来确定排除范围82。控制部也可以从用户图像中检测用户的骨骼,并基于骨骼的检测结果来确定排除范围82。
如以上叙述的那样,在信息处理系统1中,能基于新的用户图像70来更新用户的化身。服务器10既可以基于由终端装置20获取到的用户图像70来更新化身,也可以基于由外部装置获取到的用户图像70来更新化身。第一终端装置20A既可以基于由第二终端装置20B获取到的用户图像70来更新化身,也可以基于由第一终端装置20A自身获取到的用户图像70来更新化身。相反,第二终端装置20B既可以基于由第一终端装置20A获取到的用户图像70来更新化身,也可以基于由第二终端装置20B自身获取到的用户图像70来更新化身。
此外,化身的更新既可以由与最初生成了化身的装置相同的装置执行,也可以由与最初生成了化身的装置不同的装置执行。例如,最初由服务器10生成的化身既可以由服务器10更新,也可以由终端装置20更新。最初由第一终端装置20A生成的化身既可以由第一终端装置20A更新,也可以由服务器10或第二终端装置20B更新。
更新后的化身既可以以与最初生成时相同或类似的形态显示于终端装置20的显示部28,也可以显示于外部的显示装置。
<信息处理方法的过程例>
如以上叙述的那样,在本实施方式的信息处理系统1中,包括服务器10或终端装置20的信息处理装置基于用户图像,以三维对象40的形式生成用户的化身。信息处理装置的控制部可以执行包括例如图9所举例示出的流程图的过程的信息处理方法。信息处理方法可以被实现为由信息处理装置的控制部执行的信息处理程序。信息处理程序可以储存于非暂时性计算机可读介质。
控制部获取用户图像(步骤S1)。控制部生成合成图像60和作为三维对象40的化身(步骤S2)。控制部获取新的用户图像70(步骤S3)。
控制部判定是否能从新的用户图像70中检测到标记(步骤S4)。换言之,控制部判定新的用户图像70中是否包含标记。在无法从新的用户图像70中检测到标记的情况下(步骤S4:否),控制部不通过新的用户图像70来更新合成图像60而结束图9的流程图的过程。
在能从新的用户图像70中检测到标记的情况下(步骤S4:是),控制部判定新的用户图像70中是否设定了排除范围82(步骤S5)。具体而言,在从用户接受到指定不想使其反映于化身的部分的输入的情况或获取到设定排除范围82的信息的情况下,控制部可以判定为设定了排除范围82。相反,在未从用户接受到指定不想使其反映于化身的部分的输入并且未获取到设定排除范围82的信息的情况下,控制部可以判定为未设定排除范围82。
在未设定排除范围82的情况下(步骤S5:否),控制部进入步骤S7的过程。在设定了排除范围82的情况下(步骤S5:是),控制部生成从新的用户图像70中将排除范围82排除而得到的图像来作为排除图像80(步骤S6)。控制部基于新的用户图像70或排除图像80来更新合成图像60和化身(步骤S7)。具体而言,在生成了排除图像80的情况下,控制部通过排除图像80来更新合成图像60,并通过更新后的合成图像60来对三维对象40的外表面进行描绘,由此更新化身。此外,在未生成排除图像80的情况下,控制部通过新的用户图像70来更新合成图像60,并通过更新后的合成图像60来对三维对象40的外表面进行描绘,由此更新化身。在执行步骤S7的过程之后,控制部结束图9的流程图的过程。
<小结>
如以上叙述的那样,根据本实施方式的信息处理系统1、服务器10和终端装置20、以及信息处理方法,基于用户图像来生成化身。此外,在基于新的用户图像70来更新化身时,从要使其反映于化身的信息中将由用户指定的信息排除。通过这样做,以不反映不需要的信息的方式生成化身。其结果是,满足了用户的要求。
(其他实施方式)
在存在使化身显示的多个应用的情况下,信息处理装置的控制部可以与各应用协作来分别生成在各应用中使用的形态的化身。控制部可以确定为了生成在终端装置20中登录于各应用的用户的化身所需的用户图像。例如,控制部可以决定是否需要从用户的侧面或背面进行拍摄而得到的图像。控制部可以决定是否需要拍摄用户的面部而得到的图像。控制部可以决定是否需要拍摄用户的全身而得到的图像。
控制部可以引导用户对终端装置20的操作,使得能用终端装置20来获取所需的用户图像。例如,控制部可以指定用终端装置20从哪个方向拍摄用户。控制部也可以指定用终端装置20拍摄用户的范围。控制部也可以指定用终端装置20拍摄用户的身体的哪个部位。控制部也可以引导用户的操作,使得可能会成为标记的部位被拍摄。
终端装置20的终端控制部22可以执行用于获取用户图像的应用软件。用于获取用户图像的应用软件也被称为拍摄应用。拍摄应用可以与使化身显示的应用协作。
基于各附图和实施例,对本公开的实施方式进行了说明,但需要注意的是,本领域技术人员可以基于本公开来进行各种变形和改变。因此,需要留意的是,这些变形和改变包括在本公开的范围内。例如,各单元或各步骤等中所包含的功能等可以以在逻辑上不发生矛盾的方式重新配置,可以将多个单元或步骤等组成成一个,或者对多个单元或步骤等进行划分。

Claims (6)

1.一种信息处理装置,其中,
具备控制部,所述控制部基于拍摄用户而得到的用户图像,以三维对象的形式生成所述用户的化身,
所述控制部获取拍摄所述用户而得到的新的图像,
所述控制部通过从所述新的图像中将一部分排除来生成排除图像,
所述控制部通过将所述排除图像重叠描绘于所述用户图像的至少一部分来更新所述用户的化身。
2.根据权利要求1所述的信息处理装置,其中,
所述控制部从所述用户接受指定从所述新的图像中排除的部分的输入,并基于从所述用户接受到的输入来生成所述排除图像。
3.根据权利要求1或2所述的信息处理装置,其中,
所述控制部获取从多个方向拍摄所述用户而得到的多个部分图像,并通过使所述各部分图像相连来生成所述用户图像。
4.根据权利要求1至3中任一项所述的信息处理装置,其中,
所述控制部检测所述用户图像和所述新的图像中共同包含的所述用户的特征,基于所述用户的特征来生成所述排除图像,并以所述用户的特征在所述用户图像和所述排除图像中重叠的方式将所述排除图像重叠描绘于所述用户图像的至少一部分。
5.一种信息处理方法,基于拍摄用户而得到的用户图像,以三维对象的形式生成所述用户的化身,所述信息处理方法包括:
获取拍摄所述用户而得到的新的图像;
通过从所述新的图像中将一部分排除来生成排除图像;以及
通过将所述排除图像重叠描绘于所述用户图像的至少一部分来更新所述用户的化身。
6.一种非暂时性计算机可读介质,储存信息处理程序,所述信息处理程序使信息处理装置基于拍摄用户而得到的用户图像,以三维对象的形式生成所述用户的化身,所述信息处理程序包括:
使所述信息处理装置获取拍摄所述用户而得到的新的图像;
使所述信息处理装置通过从所述新的图像中将一部分排除来生成排除图像;以及
使所述信息处理装置通过将所述排除图像重叠描绘于所述用户图像的至少一部分来更新所述用户的化身。
CN202310040963.3A 2022-01-25 2023-01-27 信息处理装置、信息处理方法及非暂时性计算机可读介质 Pending CN116503523A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-009692 2022-01-25
JP2022009692A JP2023108528A (ja) 2022-01-25 2022-01-25 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN116503523A true CN116503523A (zh) 2023-07-28

Family

ID=87314316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310040963.3A Pending CN116503523A (zh) 2022-01-25 2023-01-27 信息处理装置、信息处理方法及非暂时性计算机可读介质

Country Status (3)

Country Link
US (1) US20230237839A1 (zh)
JP (1) JP2023108528A (zh)
CN (1) CN116503523A (zh)

Also Published As

Publication number Publication date
US20230237839A1 (en) 2023-07-27
JP2023108528A (ja) 2023-08-04

Similar Documents

Publication Publication Date Title
CN112334869B (zh) 电子设备及其控制方法
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
US10192361B2 (en) Head-mounted display device and computer program
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
US8860847B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image
US9979946B2 (en) I/O device, I/O program, and I/O method
US9933853B2 (en) Display control device, display control program, and display control method
US8648924B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus
US20190335115A1 (en) Display control device, head-mounted display, and control program
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
US9906778B2 (en) Calibration device, calibration program, and calibration method
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2015087909A (ja) 情報処理システム、情報処理装置、情報処理サーバ、情報処理方法、及びプログラム
US10296098B2 (en) Input/output device, input/output program, and input/output method
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109765990B (zh) 画面显示控制方法及画面显示控制系统
KR20210014892A (ko) Ar 객체 생성 방법 및 전자 장치
CN116503523A (zh) 信息处理装置、信息处理方法及非暂时性计算机可读介质
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
JP2019185475A (ja) 特定プログラム、特定方法及び情報処理装置
KR20200111144A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2017199085A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200105234A (ko) 전자 장치 및 컨텐츠를 생성하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination