JP2023108528A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2023108528A
JP2023108528A JP2022009692A JP2022009692A JP2023108528A JP 2023108528 A JP2023108528 A JP 2023108528A JP 2022009692 A JP2022009692 A JP 2022009692A JP 2022009692 A JP2022009692 A JP 2022009692A JP 2023108528 A JP2023108528 A JP 2023108528A
Authority
JP
Japan
Prior art keywords
user
image
information processing
avatar
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022009692A
Other languages
English (en)
Inventor
達朗 堀
Tatsuro Hori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022009692A priority Critical patent/JP2023108528A/ja
Priority to US18/157,441 priority patent/US20230237839A1/en
Priority to CN202310040963.3A priority patent/CN116503523A/zh
Publication of JP2023108528A publication Critical patent/JP2023108528A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Abstract

【課題】不要な情報が反映されないようにアバターを生成する情報処理装置、情報処理方法、及び情報処理プログラムを提供する。【解決手段】情報処理装置10、20は、ユーザを撮影したユーザ画像に基づいて、ユーザのアバターを3次元オブジェクト40として生成する制御部12、22を備える。制御部12、22は、ユーザを撮影した新たな画像70を取得し、新たな画像70から一部を除外した除外画像80を生成し、除外画像80をユーザ画像の少なくとも一部に重ねて描画することによってユーザのアバターを更新する。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
ユーザの画像を使ってアバターを生成する方法が知られている(例えば、特許文献1参照)。
特開2020-119156号公報
ユーザの画像に基づいてアバターを生成する場合に、アバターに反映させたくない情報が画像に含まれることがある。不要な情報が反映されないようにアバターを生成することが求められる。
かかる事情に鑑みてなされた本開示の目的は、不要な情報が反映されないようにアバターを生成することにある。
本開示の一実施形態に係る情報処理装置は、ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを3次元オブジェクトとして生成する制御部を備える。前記制御部は、前記ユーザを撮影した新たな画像を取得し、前記新たな画像から一部を除外した除外画像を生成し、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新する。
本開示の一実施形態に係る情報処理方法は、ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを3次元オブジェクトとして生成することを含む。前記情報処理方法は、前記ユーザを撮影した新たな画像を取得することを含む。前記情報処理方法は、前記新たな画像から一部を除外した除外画像を生成することを含む。前記情報処理方法は、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新することを含む。
本開示の一実施形態に係る情報処理プログラムは、情報処理装置に、ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを3次元オブジェクトとして生成させる。前記情報処理プログラムは、前記情報処理装置に、前記ユーザを撮影した新たな画像を取得させる。前記情報処理プログラムは、前記情報処理装置に、前記新たな画像から一部を除外した除外画像を生成させる。前記情報処理プログラムは、前記情報処理装置に、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新させる。
本開示の一実施形態に係る情報処理装置、情報処理方法、及び情報処理プログラムによれば、不要な情報が反映されないようにアバターが生成され得る。
一実施形態に係る情報処理システムの構成例を示すブロック図である。 正面及び左右側面のユーザ画像の一例を示す図である。 図2のユーザ画像を合成した画像の一例を示す図である。 図3の合成画像を表面に貼り付けた3次元オブジェクトの例を示す図である。 新たなユーザ画像の一例を示す図である。 図5の新たなユーザ画像を図3の合成画像に重ねた例を示す図である。 新たなユーザ画像の一部を除外した除外画像の一例を示す図である。 図7の除外画像を図3の合成画像に重ねた例を示す図である。 一実施形態に係る情報処理方法の手順例を示すフローチャートである。
(情報処理システム1の構成例)
図1に示されるように、一実施形態に係る情報処理システム1は、サーバ10と、端末装置20とを備える。端末装置20は、ユーザによって所持されているとする。端末装置20は、第1端末装置20Aを含むとする。第1端末装置20Aは、第1ユーザによって所持されているとする。端末装置20は、必須ではないが第2端末装置20Bを更に含んでもよい。第2端末装置20Bは、第2ユーザによって所持されているとする。サーバ10と端末装置20とは、ネットワーク30を介して互いに有線又は無線で通信可能に接続されるとする。サーバ10と端末装置20とは、ネットワーク30を介さない有線又は無線の通信によって互いに通信可能に接続されてもよい。
情報処理システム1は、ユーザを撮影した画像に基づいてユーザのアバターを生成するように構成される。ユーザを撮影した画像は、ユーザ画像とも称される。ユーザ画像は、RGB画像を含んでよいし、ユーザのデプス画像を含んでもよい。以下、情報処理システム1の構成が説明される。
<サーバ10>
サーバ10は、サーバ制御部12と、サーバインタフェース14とを備える。サーバインタフェース14は、サーバI/F14とも称される。
サーバ制御部12は、サーバ10の少なくとも1つの構成部を制御する。サーバ制御部12は、1つ以上のプロセッサを含んで構成されてよい。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。サーバ制御部12は、1つ以上の専用回路を含んで構成されてもよい。専用回路は、例えば、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)を含んでよい。サーバ制御部12は、プロセッサの代わりに専用回路を含んで構成されてもよいし、プロセッサとともに専用回路を含んで構成されてもよい。
サーバ10は、記憶部を更に備えてよい。記憶部は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよい。記憶部は、非一時的なコンピュータ読み取り可能な媒体を含んでよい。記憶部は、サーバ10の動作に用いられる任意の情報を格納する。例えば、記憶部は、システムプログラム、又はアプリケーションプログラム等を格納してもよい。記憶部は、サーバ制御部12に含まれてもよい。
サーバI/F14は、サーバ制御部12から情報又はデータ等を出力したり、サーバ制御部12に情報又はデータ等を入力したりする。サーバI/F14は、ネットワーク30を介して端末装置20等の他の機器と通信可能に構成される通信モジュールを含んでよい。通信モジュールは、例えば4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応してよい。通信モジュールは、LAN(Local Area Network)等の通信規格に対応してもよい。通信モジュールは、有線又は無線の通信規格に対応してもよい。通信モジュールは、これらに限られず、種々の通信規格に対応してよい。サーバI/F14は、通信モジュールに接続可能に構成されてもよい。
サーバI/F14は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。
サーバI/F14は、ユーザに対して情報又はデータ等を出力する出力デバイスを含んで構成されてよい。出力デバイスは、例えば、画像又は文字若しくは図形等の視覚情報を出力する表示デバイスを含んでよい。表示デバイスは、例えば、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイ若しくは無機ELディスプレイ、又は、PDP(Plasma Display Panel)等を含んで構成されてよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示デバイスは、LED(Light Emission Diode)又はLD(Laser Diode)等の発光デバイスを含んで構成されてよい。表示デバイスは、他の種々のデバイスを含んで構成されてよい。出力デバイスは、例えば、音声等の聴覚情報を出力するスピーカ等の音声出力デバイスを含んでよい。出力デバイスは、これらの例に限られず、他の種々のデバイスを含んでよい。
サーバ10は、1つ又は互いに通信可能な複数のサーバ装置を含んでよい。
<端末装置20>
端末装置20は、端末制御部22と、端末I/F24とを備える。端末制御部22は、1つ以上のプロセッサ又は1つ以上の専用回路を含んで構成されてよい。端末装置20は、記憶部を更に含んで構成されてよい。端末装置20の記憶部は、サーバ10の記憶部と同一又は類似に構成されてよい。
端末I/F24は、通信モジュールを含んで構成されてよい。端末I/F24は、サーバI/F14と同一又は類似に構成されてよい。
端末I/F24は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、サーバI/F14として説明された種々のデバイスを含んで構成されてよい。
端末装置20は、必須ではないが撮影部26を更に備えてよい。撮影部26は、RGB画像を撮影するカメラ等の撮影デバイスを含んでよい。撮影部26は、デプス画像を取得するデプスセンサ又はステレオカメラ等の測距デバイスを含んでよい。端末装置20は、外部の撮影デバイス又は測距デバイスから、端末I/F24によってユーザ画像を取得してもよい。端末装置I/F24が撮影デバイス又は測距デバイスの機能を含んでもよい。
端末装置20は、必須ではないが表示部28を更に備えてよい。表示部28は、ユーザのアバターを含む仮想3次元空間を表示可能に構成されてよい。表示部28は、サーバI/F14の構成として例示したLCD等の種々の表示デバイスを含んで構成されてよい。端末I/F24が表示部28の機能を含んでもよい。
情報処理システム1が備える端末装置20の数は、1つに限られず、2つ以上であってよい。端末装置20は、スマートフォン若しくはタブレット等の携帯端末、又は、ノートPC(Personal Computer)若しくはタブレットPC等のPCを含んで構成されてよい。端末装置20は、これらの例に限られず、種々の機器を含んで構成されてよい。
(情報処理システム1の動作例)
本実施形態に係る情報処理システム1において、サーバ10又は端末装置20の少なくとも一方がユーザのアバターを生成したり更新したりしてよい。ユーザのアバターを生成するサーバ10又は端末装置20は、情報処理装置とも総称される。以下、サーバ10のサーバ制御部12又は端末装置20の端末制御部22は、単に制御部と称される。サーバ10のサーバI/F14又は端末装置20の端末I/F24は、単にI/Fと称される。以下、情報処理装置がアバターを生成及び更新する動作例が説明される。
<アバターの生成>
制御部は、ユーザを撮影した画像をユーザ画像として取得する。制御部は、ユーザを少なくとも2方向から撮影した画像をユーザ画像として取得してもよい。図2に例示されるように、制御部は、ユーザを左側面から撮影した部分画像50Lと、ユーザを正面から撮影した部分画像50Cと、ユーザを右側面から撮影した部分画像50Rとをユーザ画像として取得してよい。本実施形態において、制御部は、ユーザ画像としてユーザのRGB画像及びデプス画像を両方とも取得する。図2に例示される画像は、RGB画像であってよいし、デプス画像であってもよい。制御部は、ユーザ画像としてRGB画像だけを取得してもよい。制御部は、ユーザが所持する端末装置20の端末I/F24又は表示部28によって、端末装置20の撮影部26を操作してユーザ自身を少なくとも2方向から撮影させる指示をユーザに対して出力してよい。制御部は、外部装置のカメラ又は測距センサ等によってユーザを少なくとも2方向から撮影させるように、カメラ又は測距センサに対するユーザの向きを調整するためにユーザに動いてもらう指示をユーザに対して出力してもよい。
部分画像50Lと部分画像50Cとは、両方とも、ユーザの外観の特徴を表す第1ランドマーク52を含むとする。部分画像50Cと部分画像50Rとは、両方とも、ユーザの外観の特徴を表す第2ランドマーク54を含むとする。第1ランドマーク52及び第2ランドマーク54は、例えば、ユーザの目、鼻、口又は耳等のユーザの顔の特徴点に対応づけられてよい。第1ランドマーク52及び第2ランドマーク54は、例えば、ユーザの手、足、頭、首又は胴体等のユーザの身体の特徴点に対応づけられてもよい。第1ランドマーク52及び第2ランドマーク54は、単にランドマークとも称される。ユーザ画像においてユーザの外観の特徴とみなされない部分は、通常点56と称される。制御部は、ユーザ画像とともに、第1ランドマーク52及び第2ランドマーク54等のユーザの外観の特徴に関する情報を取得してよい。制御部は、ユーザ画像から、第1ランドマーク52及び第2ランドマーク54等のユーザの外観の特徴を検出してもよい。
制御部は、第1ランドマーク52の位置に基づいて部分画像50Lと部分画像50Cとを合成し、第2ランドマーク54の位置に基づいて部分画像50Cと部分画像50Rとを合成することによって、図3に例示される合成画像60を生成できる。合成画像60は、部分画像50Lと部分画像50Cと部分画像50Rとを合成した画像である。合成画像60は、ユーザのアバターを生成するために用いられる。合成画像60は、ユーザのRGB画像を合成した画像を含んでよいし、ユーザのデプス画像を合成した画像を含んでもよい。合成画像60は、ユーザのRGB画像とデプス画像とを合成した画像として生成されてもよい。
ユーザ画像において第1ランドマーク52及び第2ランドマーク54等のユーザの特徴が検出される位置がユーザ画像の端に近いほど、2枚のユーザ画像が合成される場合に重複する領域の面積が小さくなる。重複する領域の面積が小さいほど、合成画像60の面積が広げられ得る。制御部は、第1ランドマーク52及び第2ランドマーク54等のユーザの特徴がユーザ画像の端に近い位置で検出されるようにユーザ画像を取得してよい。例えば、制御部は、ユーザ画像を取得する際に、ユーザの特徴がユーザ画像の端に近い位置に写るようにユーザに動いてもらう指示をユーザに対して出力してもよい。また、制御部は、2枚以上のユーザ画像を取得する際に、少なくとも2枚のユーザ画像それぞれに共通の特徴が写るようにユーザに動いてもらう指示をユーザに対して出力してもよい。
制御部は、図4に例示されるように、3次元オブジェクト40の外面に合成画像60を描画する(貼り付ける)ことによって、ユーザのアバターを3次元オブジェクト40として生成してよい。図4に例示される3次元オブジェクト40は、正面42と側面44とを有する。正面42と側面44とは、曲面で接続されているとする。制御部は、3次元オブジェクト40の側面44に合成画像60のうち左側面の部分画像50Lの部分を描画する。制御部は、3次元オブジェクト40の正面42に合成画像60のうち正面の部分画像50Cの部分を描画する。この場合、合成画像60において部分画像50Lと部分画像50Cとが重なる部分は、3次元オブジェクト40の正面42と側面44との間をつなぐ曲面に描画される。
図4の例において、3次元オブジェクト40の外面に沿って合成画像60が描画されている。合成画像60がデプス画像を含む場合、制御部は、デプス画像によって特定される凹凸を3次元オブジェクト40の外面の形状に反映させてよい。
ユーザ画像としてユーザを1方向から撮影した1枚の画像が取得された場合、制御部は、その1枚の画像を3次元オブジェクト40の外面に沿って描画することによってアバターを生成してよい。
3次元オブジェクト40の外面の形状は、図4に例示したように角がR面取り形状になっている角柱形状に限られず、種々の平面又は曲面によって表される種々の形状であってよい。3次元オブジェクト40の外面の形状は、例えば楕円面を含む形状であってもよいし、複数の立体を組み合わせた形状であってもよい。
図3及び図4に例示されている合成画像60において、第1ランドマーク52、第2ランドマーク54及び通常点56は、間隔を空けて配置されている。合成画像60は、第1ランドマーク52、第2ランドマーク54及び通常点56がつながるように構成されてよい。制御部は、3次元オブジェクト40の外面に合成画像60を描画する際に、第1ランドマーク52、第2ランドマーク54及び通常点56がつながるように描画してよい。制御部は、第1ランドマーク52、第2ランドマーク54及び通常点56の間の部分を、あらかじめ設定されているユーザの肌の色等に基づいて描画してもよい。
以上述べてきたように、情報処理システム1において、ユーザ画像に基づいてユーザのアバターが生成され得る。サーバ10は、端末装置20で取得されたユーザ画像に基づいてアバターを生成してよいし、外部装置で取得されたユーザ画像に基づいてアバターを生成してもよい。第1端末装置20Aは、第2端末装置20Bで取得されたユーザ画像に基づいてアバターを生成してよいし、第1端末装置20A自身で取得したユーザ画像に基づいてアバターを生成してもよい。逆に、第2端末装置20Bは、第1端末装置20Aで取得されたユーザ画像に基づいてアバターを生成してよいし、第2端末装置20B自身で取得したユーザ画像に基づいてアバターを生成してもよい。
<アバターの表示>
サーバ10がアバターを生成した場合、サーバ10は、端末装置20にアバターの情報を出力して端末装置20の表示部28にアバターを表示させてよい。端末装置20がアバターを生成した場合、端末装置20は、端末装置20自身の表示部28でアバターを表示してもよいし、他の端末装置20にアバターの情報を出力して他の端末装置20の表示部28にアバターを表示させてもよい。
端末装置20の端末制御部22は、アバターを仮想3次元空間内に表示してよい。アバターは、仮想3次元空間内で回転自在に表示され得るオブジェクトとして構成されてよい。
アバターは、端末装置20に限られず、外部の表示装置に表示されてもよい。
<アバターの更新>
制御部は、図5に例示されるように、新たなユーザ画像70を取得する。新たなユーザ画像70は、アバターを生成する際に用いられた部分画像50L、50C又は50R等と同じ方向から撮影された画像を含んでよいし、異なる方向から撮影された画像を含んでもよい。制御部は、新たなユーザ画像70に含まれる第1ランドマーク52又は第2ランドマーク54等のユーザの外観の特徴に関する情報を取得する。図5において、新たなユーザ画像70は、第1ランドマーク52を含むとする。制御部は、新たなユーザ画像70とともに、新たなユーザ画像70に含まれるユーザの外観の特徴に関する情報を取得してもよい。制御部は、新たなユーザ画像70から、ユーザの外観の特徴を検出してもよい。新たなユーザ画像70においてユーザの外観の特徴とみなされない部分は、通常点76と称される。
既にアバターで用いられている合成画像60に含まれる第1ランドマーク52又は第2ランドマーク54等のユーザの外観の特徴が新たなユーザ画像70にも含まれる場合、制御部は、その特徴の位置に基づいて合成画像60を更新してよい。具体的に、制御部は、合成画像60に含まれる特徴と新たなユーザ画像70に含まれる特徴とが重なるように、合成画像60に新たなユーザ画像70を重ねて描画する(上書きする)ことによって、合成画像60を更新してよい。
制御部は、例えば図6に示されるように、合成画像60に含まれる第1ランドマーク52の位置と新たなユーザ画像70に含まれる第1ランドマーク52の位置とが合うように、合成画像60に対して新たなユーザ画像70を重ねて描画してよい。この場合、新たなユーザ画像70は、合成画像60よりも下にはみ出して描画される。制御部は、元の合成画像60からはみ出した部分を拡張した画像として合成画像60を更新してよい。合成画像60は、元の合成画像60からはみ出した部分を削除した画像として合成画像60を更新してもよい。
ユーザは、新たなユーザ画像70に写っている情報の一部をアバターに反映させたくないことがある。ユーザは、例えば、髪型の変更、又は、服装等の首よりも下の部分の変更をアバターに反映させたくないことがある。制御部は、新たなユーザ画像70において、アバターに反映させない部分を除外した画像によって合成画像60を更新してよい。
制御部は、例えば図7に示されるように、新たなユーザ画像70のうち、ユーザがアバターに反映させたくない部分を除外範囲82として認識する。除外範囲82に含まれる点は、除外点78と称される。制御部は、新たなユーザ画像70から除外範囲82を除外した画像を除外画像80として生成する。図7のユーザ画像70において、第1ランドマーク52は、ユーザの首であるとする。この場合、首より下の部分の変更をアバターに反映させたくないというユーザの意向が除外範囲82に反映されている。
制御部は、例えば図8に示されるように、除外画像80を用いて合成画像60を更新してよい。制御部は、除外画像80に含まれる第1ランドマーク52の位置と合成画像60に含まれる第1ランドマーク52の位置とが合うように、合成画像60に対して除外画像80を重ねて描画してよい。このようにすることで、ユーザがアバターに反映させたくなかった部分について、合成画像60が更新されない。
制御部は、ユーザが指定した情報に基づいて除外範囲82を特定してよい。制御部は、ユーザが指定した身体の部位に基づいて除外範囲82を特定してよい。また、制御部は、ユーザの特徴に基づいて除外範囲82を特定してよい。具体的に、制御部は、除外範囲82を特定するための基準になるユーザの特徴を指定する入力を受け付けてよい。制御部は、例えばユーザの首を基準として首よりも下の部分(服装等)を除外範囲82にするように指定する情報の入力を受け付けてよい。また、制御部は、ユーザから、例えばユーザの目を基準として目よりも上の部分(髪型等)を除外範囲82にするように指定する情報の入力を受け付けてよい。制御部は、ユーザが指定した色に基づいて除外範囲82を特定してもよい。制御部は、ユーザ画像からユーザの骨格を検出し、骨格の検出結果に基づいて除外範囲82を特定してしてもよい。
以上述べてきたように、情報処理システム1において、新たなユーザ画像70に基づいてユーザのアバターが更新され得る。サーバ10は、端末装置20で取得されたユーザ画像70に基づいてアバターを更新してよいし、外部装置で取得されたユーザ画像70に基づいてアバターを更新してもよい。第1端末装置20Aは、第2端末装置20Bで取得されたユーザ画像70に基づいてアバターを更新してよいし、第1端末装置20A自身で取得したユーザ画像70に基づいてアバターを更新してもよい。逆に、第2端末装置20Bは、第1端末装置20Aで取得されたユーザ画像70に基づいてアバターを更新してよいし、第2端末装置20B自身で取得したユーザ画像70に基づいてアバターを更新してもよい。
また、アバターの更新は、最初にアバターを生成した装置と同じ装置によって実行されてもよいし、異なる装置によって実行されてもよい。例えば、サーバ10によって最初に生成されたアバターは、サーバ10によって更新されてもよいし、端末装置20によって更新されてもよい。第1端末装置20Aによって最初に生成されたアバターは、第1端末装置20Aによって更新されてもよいし、サーバ10又は第2端末装置20Bによって更新されてもよい。
更新されたアバターは、最初に生成されたときと同一又は類似の態様で端末装置20の表示部28に表示されてよいし、外部の表示装置に表示されてよい。
<情報処理方法の手順例>
以上述べてきたように、本実施形態に係る情報処理システム1において、サーバ10又は端末装置20を含む情報処理装置は、ユーザ画像に基づいてユーザのアバターを3次元オブジェクト40として生成する。情報処理装置の制御部は、例えば図9に例示されるフローチャートの手順を含む情報処理方法を実行してよい。情報処理方法は、情報処理装置の制御部に実行させる情報処理プログラムとして実現されてもよい。
制御部は、ユーザ画像を取得する(ステップS1)。制御部は、合成画像60及び3次元オブジェクト40としてのアバターを生成する(ステップS2)。制御部は、新たなユーザ画像70を取得する(ステップS3)。
制御部は、新たなユーザ画像70からランドマークを検出できるか判定する(ステップS4)。言い換えれば、制御部は、新たなユーザ画像70にランドマークが含まれるか判定する。制御部は、新たなユーザ画像70からランドマークを検出できない場合(ステップS4:NO)、新たなユーザ画像70によって合成画像60を更新せずに図9のフローチャートの手順を終了する。
制御部は、新たなユーザ画像70からランドマークを検出できる場合(ステップS4:YES)、新たなユーザ画像70において除外範囲82が設定されているか判定する(ステップS5)。具体的に、制御部は、ユーザからアバターに反映させたくない部分を指定する入力を受け付けた場合又は除外範囲82を設定する情報を取得した場合に除外範囲82が設定されていると判定してよい。逆に、制御部は、ユーザからアバターに反映させたくない部分を指定する入力を受け付けておらず、かつ、除外範囲82を設定する情報を取得していない場合に除外範囲82が設定されていないと判定してよい。
制御部は、除外範囲82が設定されていない場合(ステップS5:NO)、ステップS7の手順に進む。制御部は、除外範囲82が設定されている場合(ステップS5:YES)、新たなユーザ画像70から除外範囲82を除外した画像を除外画像80として生成する(ステップS6)。制御部は、新たなユーザ画像70又は除外画像80に基づいて、合成画像60及びアバターを更新する(ステップS7)。具体的に、制御部は、除外画像80を生成した場合、除外画像80によって合成画像60を更新し、更新した合成画像60によって3次元オブジェクト40の外面を描画することによってアバターを更新する。また、制御部は、除外画像80を生成しなかった場合、新たなユーザ画像70によって合成画像60を更新し、更新した合成画像60によって3次元オブジェクト40の外面を描画することによってアバターを更新する。制御部は、ステップS7の手順の実行後、図9のフローチャートの手順を終了する。
<小括>
以上述べてきたように本実施形態に係る情報処理システム1、サーバ10及び端末装置20、並びに情報処理方法によれば、ユーザ画像に基づいてアバターが生成される。また、新たなユーザ画像70に基づいてアバターを更新する際に、アバターに反映させる情報から、ユーザによって指定された情報が除外される。このようにすることで、不要な情報が反映されないようにアバターが生成される。その結果、ユーザの要望がかなえられる。
(他の実施形態)
情報処理装置の制御部は、アバターを表示させる複数のアプリケーションが存在する場合、各アプリケーションと連携して各アプリケーションで用いられる態様のアバターを別々に生成してよい。制御部は、端末装置20で各アプリケーションにログインしたユーザのアバターを生成するために必要なユーザ画像を特定してよい。例えば、制御部は、ユーザの側面又は背面から撮影した画像が必要か決定してよい。制御部は、ユーザの顔を撮影した画像が必要か決定してよい。制御部は、ユーザの全身を撮影した画像が必要か決定してよい。
制御部は、必要なユーザ画像を端末装置20で取得できるように、ユーザによる端末装置20の操作を誘導してよい。例えば、制御部は、端末装置20でユーザをどの方向から撮影するかを指定してよい。制御部は、端末装置20でユーザを撮影する範囲を指定してもよい。制御部は、端末装置20でユーザの身体のどの部位を撮影するかを指定してもよい。制御部は、ランドマークとなり得る部位が撮影されるようにユーザの操作を誘導してもよい。
端末装置20の端末制御部22は、ユーザ画像を取得するためのアプリケーションソフトウェアを実行してもよい。ユーザ画像を取得するためのアプリケーションソフトウェアは、撮影アプリケーションとも称される。撮影アプリケーションは、アバターを表示させるアプリケーションと連携されてもよい。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
1 情報処理システム
10 サーバ(12:サーバ制御部、14:サーバI/F)
20 端末装置(20A:第1端末装置、20B:第2端末装置、22:端末制御部、24:端末I/F、26:撮影部、28:表示部)
30 ネットワーク
40 3次元オブジェクト(42:正面、44:側面)
50L、50C、50R 左側面、正面、右側面のユーザ画像
52、54 第1ランドマーク、第2ランドマーク
56 通常点
60 合成画像
70 新たな画像(76:通常点、78:除外対象点)
80 除外画像(82:除外範囲)

Claims (6)

  1. ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを3次元オブジェクトとして生成する制御部を備え、
    前記制御部は、
    前記ユーザを撮影した新たな画像を取得し、
    前記新たな画像から一部を除外した除外画像を生成し、
    前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新する、情報処理装置。
  2. 前記制御部は、前記新たな画像から除外する部分を指定する入力を前記ユーザから受け付け、前記ユーザから受け付けた入力に基づいて前記除外画像を生成する、請求項1に記載の情報処理装置。
  3. 前記制御部は、前記ユーザを複数の方向から撮影した複数の部分画像を取得し、前記各部分画像をつなぐことによって前記ユーザ画像を生成する、請求項1又は2に記載の情報処理装置。
  4. 前記制御部は、前記ユーザ画像及び前記新たな画像に共通に含まれる前記ユーザの特徴を検出し、前記ユーザの特徴に基づいて前記除外画像を生成し、前記ユーザの特徴が前記ユーザ画像と前記除外画像とで重なるように前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画する、請求項1から3までのいずれか一項に記載の情報処理装置。
  5. ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを3次元オブジェクトとして生成する情報処理方法であって、
    前記ユーザを撮影した新たな画像を取得することと、
    前記新たな画像から一部を除外した除外画像を生成することと、
    前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新することと
    を含む情報処理方法。
  6. 情報処理装置に、ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを3次元オブジェクトとして生成させる情報処理プログラムであって、
    前記情報処理装置に、前記ユーザを撮影した新たな画像を取得させることと、
    前記情報処理装置に、前記新たな画像から一部を除外した除外画像を生成させることと、
    前記情報処理装置に、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新させることと
    を含む情報処理プログラム。
JP2022009692A 2022-01-25 2022-01-25 情報処理装置、情報処理方法、及び情報処理プログラム Pending JP2023108528A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022009692A JP2023108528A (ja) 2022-01-25 2022-01-25 情報処理装置、情報処理方法、及び情報処理プログラム
US18/157,441 US20230237839A1 (en) 2022-01-25 2023-01-20 Information processing apparatus, information processing method, and non-transitory computer readable medium
CN202310040963.3A CN116503523A (zh) 2022-01-25 2023-01-27 信息处理装置、信息处理方法及非暂时性计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022009692A JP2023108528A (ja) 2022-01-25 2022-01-25 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2023108528A true JP2023108528A (ja) 2023-08-04

Family

ID=87314316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022009692A Pending JP2023108528A (ja) 2022-01-25 2022-01-25 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20230237839A1 (ja)
JP (1) JP2023108528A (ja)
CN (1) CN116503523A (ja)

Also Published As

Publication number Publication date
CN116503523A (zh) 2023-07-28
US20230237839A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
US10854017B2 (en) Three-dimensional virtual image display method and apparatus, terminal, and storage medium
US11962930B2 (en) Method and apparatus for controlling a plurality of virtual characters, device, and storage medium
US11436779B2 (en) Image processing method, electronic device, and storage medium
JP5784818B2 (ja) 拡張現実システムにおける実世界表面への仮想画像のアンカリング
CN112334869A (zh) 电子设备及其控制方法
JP2020042802A (ja) 3次元コンテンツ内の場所に基づく仮想要素モダリティ
JP6476657B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11911697B2 (en) Virtual-environment-based object construction method and apparatus, computer device, and computer-readable storage medium
US20210306791A1 (en) Immersive augmented reality experiences using spatial audio
WO2020073334A1 (zh) 扩展内容显示方法、装置、系统及存储介质
CN110796083A (zh) 图像显示方法、装置、终端及存储介质
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2023024540A (ja) 表示端末
JP2023108528A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR20210014892A (ko) Ar 객체 생성 방법 및 전자 장치
JP2017199085A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200111144A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20200105234A (ko) 전자 장치 및 컨텐츠를 생성하는 방법
KR102296820B1 (ko) 얼굴 영상의 2차원 텍스쳐 맵 형성 방법 및 장치
WO2021075113A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7405083B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024020074A (ja) 情報処理方法及び情報処理装置
KR20210125465A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2021077185A (ja) 情報処理装置、情報処理方法、並びにプログラム
US20180225857A1 (en) Apparatus and method to generate realistic three-dimensional (3d) model animation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231124