JP2022022222A

JP2022022222A - 端末装置、当該端末装置における方法、サーバ装置及びプログラム

Info

Publication number: JP2022022222A
Application number: JP2021182642A
Authority: JP
Inventors: 広海石先; Hiromi Ishisaki; 修水田; Osamu Mizuta; 義浩伊藤; Yoshihiro Ito; 泰博畑瀬; Yasuhiro Hatase
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2018-03-19
Filing date: 2021-11-09
Publication date: 2022-02-03
Anticipated expiration: 2038-03-19
Also published as: JP7144588B2

Abstract

【課題】仮想物体の動作をより現実の人間や動物の様に制御することができる技術を提供する。【解決手段】端末装置は、端末装置は、ディスプレイと、第１撮像手段と、第２撮像手段と、仮想物体の感情を表現する感情パラメータを管理する管理手段と、前記感情パラメータに基づき決定される表示態様により前記仮想物体を前記第１撮像手段が撮像した撮像画像に重畳させて前記ディスプレイに表示する表示処理手段と、を備えており、前記管理手段は、前記第２撮像手段が撮像するユーザの表情に基づき判定される当該ユーザの感情又は前記ユーザが前記端末装置に入力した内容に基づき、前記感情パラメータを変更する。【選択図】図２

Description

本発明は、携帯型の端末装置に表示する仮想物体の制御技術に関する。

非特許文献１及び非特許文献２に記載されている様に、スマートフォンやタブレット等の携帯型の端末装置で使用されるオペレーティングシステム（ＯＳ）は、拡張現実（ＡＲ）を実現するためのフレームワークを提供している。これらのフレームワークを使用することで、端末装置は、加速度センサ及びジャイロセンサの出力に基づき、自装置の位置及び方向を判定することができる。なお、端末装置の位置の原点は、処理を開始した際の端末装置の位置であり、その座標系の方向は、例えば、処理を開始した際の端末装置の撮像部の光軸の方向等、端末装置に予め設定されている基準方向に基づき決定される。これらのフレームワークを使用することで、実際には存在しない仮想物体があたかも存在する様に、端末装置の撮像部が撮像する撮像画像に仮想物体を自然な形で重ねて端末装置のディスプレイに表示することができる。

また、特許文献１は、ディスプレイにキャラクタを表示し、当該キャラクタが、あたかもユーザと会話しているかのように、キャラクタを動作させ、かつ、音声を出力する画像表示装置を開示している。

特許第６１６５３０２号公報

第８３７回：ＡＲＫｉｔとは－ケータイＷａｔｃｈ、［ｏｎｌｉｎｅ］、［平成３０年２月１３日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｋ－ｔａｉ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｄｏｃｓ／ｃｏｌｕｍｎ／ｋｅｙｗｏｒｄ／１０９９０５４．ｈｔｍｌ＞ＡＲＣｏｒｅ－ＧｏｏｇｌｅＤｅｖｅｌｏｐｅｒ、［ｏｎｌｉｎｅ］、［平成３０年２月１３日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒｓ．ｇｏｏｇｌｅ．ｃｏｍ／ａｒ／＞

非特許文献１及び非特許文献２に記載の技術により各ユーザは、それぞれ独自の仮想物体を端末装置のディスプレイに自然な形で表示することができる。また、特許文献１に記載されている様に、端末装置のユーザと、端末装置のディスプレイに表示している仮想物体とが会話する様に、ディスプレイに表示している仮想物体の動作を制御することができる。

ここで、仮想物体をディスプレイに表示してＡＲ環境を提供するにあたり、仮想物体の動作をより現実の人間や動物の様に制御することが求められている。

本発明は、仮想物体の動作をより現実の人間や動物の様に制御することができる技術を提供するものである。

本発明の一態様によると、端末装置は、ディスプレイと、第１撮像手段と、第２撮像手段と、仮想物体の感情を表現する感情パラメータを管理する管理手段と、前記感情パラメータに基づき決定される表示態様により前記仮想物体を前記第１撮像手段が撮像した撮像画像に重畳させて前記ディスプレイに表示する表示処理手段と、を備えており、前記管理手段は、前記第２撮像手段が撮像するユーザの表情に基づき判定される当該ユーザの感情又は前記ユーザが前記端末装置に入力した内容に基づき、前記感情パラメータを変更することを特徴とする。

本発明によると、仮想物体の動作をより現実の人間や動物の様に制御することができる。

一実施形態による端末装置の構成図。一実施形態による制御部の機能ブロック図。一実施形態による感情パラメータを示す図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態による端末装置１０の概略的な構成図である。端末装置１０は、例えば、スマートフォン、タブレットといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。第１撮像部１０３及び第２撮像部１０４は、レンズ及びＣＣＤセンサを有し、画像情報を取得して制御部１００に出力する。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。ＧＰＳ処理部１０８は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。

なお、本実施形態において、第１撮像部１０３は、ユーザが、ディスプレイ１０５をユーザ側に向けた状態で、ユーザが見ている側と同じ方向の画像を撮像する。一方、第２撮像部１０４は、ユーザが、ディスプレイ１０５をユーザ側に向けた状態で、ユーザ側を撮像する。以下では、第１撮像部１０３が撮像する画像を第１撮像画像と呼び、第２撮像部１０４が撮像する画像を第２撮像画像と呼ぶものとする。

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。フラッシュメモリには、端末装置１０の第１撮像画像に重ねて表示する仮想物体を示す画像データが格納されている。なお、仮想物体は、所謂、キャラクタを示すキャラクタ画像であり、画像データは、当該キャラクタの３Ｄモデルと、当該キャラクタの動作を示すモーションデータとを含んでいる。

図２は、制御部１００の機能ブロック図である。位置判定部１００１は、加速度センサ１０９が出力する加速度情報及びジャイロセンサ１１０が出力する角速度情報に基づき、非特許文献１又は非特許文献２に記載されている技術に従い端末装置１０の位置及び方向を判定する。なお、端末装置１０が使用する座標系は、位置判定部１００１が位置及び方向の判定を開始したときの端末装置１０の位置を原点とし、例えば、位置判定部１００１が位置及び方向の判定を開始したときの第１撮像部１０３の光軸の方向をＸ軸の方向とすることができる。なお、本実施形態においては、端末装置の方向とは、第１撮像部１０３の光軸の方向を意味するものとする。位置判定部１００１は、判定した端末装置１０の位置及び方向を位置情報として出力する。

表示処理部１００２は、処理の開始時、キャラクタ画像を最初に立たせる初期位置を決定する。この初期位置は、表示処理部１００２が処理を開始したときの端末装置１０の位置及び方向に対する相対位置に基づき決定される。なお、この相対位置は、予め制御部１００に格納されている。例えば、相対位置は、表示処理部１００２がキャラクタ画像の表示処理を開始したときの端末装置１０の方向において、端末装置１０の位置から所定の距離とすることができる。その後、表示処理部１００２は、後述する感情パラメータに基づきキャラクタ画像の配置位置を決定する。そして、表示処理部１００２は、キャラクタ画像の配置位置が第１撮像画像に含まれていると、キャラクタが配置位置にいる様に、キャラクタ画像を第１撮像画像に重畳させてディスプレイ１０５に表示する。

感情判定部１００３は、キャラクタの感情を示す感情パラメータを管理する。図３は、本実施形態で使用する感情パラメータを示している。本実施形態では、喜怒哀楽の４つの感情をそれぞれ１０段階で表現する。なお、キャラクタ画像のディスプレイ１０５への表示の開始時の感情パラメータの各感情の初期値は任意であり、例えば、総て１とする。本実施形態では、様々な要因に応じて、４つの感情のレベルを増減させる。なお、要因と、どの感情レベルをどれだけ増減させるかについては予め決定して制御部１００に格納しておく。

本実施形態においては、端末装置１０の位置及び方向と、キャラクタ画像の配置位置との関係を感情のレベルを変化させる要因の１つとする。例えば、端末装置１０の位置及び方向から第１撮像画像内にキャラクタの配置位置が含まれるかを判定し、第１撮像画像内にキャラクタの配置位置が含まれないと、"怒"又は"哀"のレベルを所定数だけ上げ、"喜"又は"楽"のレベルを所定数だけ下げることができる。なお、例えば、上げるレベル及び下げるレベルは、第１撮像画像内にキャラクタの配置位置が含まれなくなってからの時間が長いほど多くすることができる。逆に、第１撮像画像内にキャラクタの配置位置が含まれていると、"喜"又は"楽"のレベルを所定数だけ上げ、"怒"又は"哀"のレベルを所定数だけ下げることができる。さらに、第１撮像画像内にキャラクタの配置位置が含まれていても、端末装置１と配置位置との距離が所定範囲内にない場合、つまり、遠すぎる場合や、近すぎる場合に、それぞれの感情のレベルを変化させることができる。

さらに、キャラクタの配置位置と端末装置１０の位置との間の距離と、時間とにより感情のレベルを変化させることができる。後述する様に、本実施形態では、感情のレベルによりキャラクタの配置位置を決定するが、例えば、"怒"のレベルが上昇したことによりキャラクタの表示位置を端末装置１０から遠くに設定した後、所定時間が経過する度に"怒"のレベルを下げていくことができる。

また、端末装置１０に対してユーザが入力した内容を感情のレベルを変化させる要因の１つとすることができる。例えば、ユーザは、マイク１０２を使用して音声入力をしたり、タッチパネルであるディスプレイ１０５を使用してテキスト入力をしたりできる。感情判定部１００３は、入力される音声やテキストが示す意味を解析して、各感情のレベルを調整することができる。例えば、音声やテキストが示す意味が、誉め言葉の様なポジティブな内容であると、"喜"のレベルを所定数だけ上げ、"怒"又は"哀"のレベルを所定数だけ下げることができる。さらに、第２撮像画像にユーザの顔が含まれる場合、ユーザの表情からユーザの感情を推定して、推定したユーザの感情を感情のレベルを変化させる要因の１つとすることができる。例えば、ユーザの感情が怒りであると、"哀"のレベルを所定数だけ上げることができる。

さらに、ＧＰＳ処理部１０８が取得する緯度、経度及び高度に基づき判定できる現在の場所を感情のレベルを変化させる要因の１つとすることができる。例えば、ＧＰＳ処理部１０８が取得する緯度、経度及び高度と、地図情報に基づき、現在、遊園地等にいると判定されると、"楽"のレベルを所定数だけ上げることができる。また、例えば、ＧＰＳ処理部１０８が取得する高度が高くなると、"楽"のレベルを所定数だけ下げることができる。さらに、時刻を感情のレベルを変化させる要因の１つとすることができる。例えば、午前中は、"楽"及び"喜"のレベルを所定数だけ下げることができる。

感情判定部１００３は、上述した様に、予め決められた要因に基づき、予め決められたように感情パラメータを変更し、一番レベルの高い感情を判定して、表示処理部１００３に一番レベルの高い感情を出力する。そして、表示処理部１００２は、一番レベルの高い感情に従ってキャラクタ画像を表示する。例えば、一番レベルの高い感情が"怒"であるろ、キャラクタが怒っているかの様にディスプレイに表示する。また、一番レベルの高い感情に従ってキャラクタ画像の配置位置を変更する。例えば、一番レベルの高い感情が"喜"及び"楽"といったポジティブな内容であると、ユーザに近づくようにキャラクタの配置位置を変更し、一番レベルの高い感情が"怒"及び"哀"といったネガティブな内容であると、ユーザから遠ざかる様にキャラクタの配置位置を変更することができる。さらに、一番高い感情と、さらにはそのレベルの大きさに応じて、キャラクタ画像の配置位置やキャラクタ画像の表示の態様を変化させる構成とすることもできる。つまり、例えば、一番レベルの高い感情が"喜"であり、そのレベルが１０であると、レベルが５である場合より、より喜んでいる様にキャラクタ画像をディスプレイ１０５に表示し、より端末装置１０に近い位置にキャラクタ画像の配置位置を変更することができる。さらに、端末装置１０が出力するキャラクタの音声も、一番高い感情と、さらにはそのレベルの大きさに応じて制御することができる。例えば、一番レベルの高い感情が"喜"である場合には、音声のトーンを高くし、一番レベルの高い感情が"哀"であると、音声のトーンを低くすることができる。

なお、表示処理部１００２は、キャラクタ画像の配置位置を決定するために、感情判定部１００３から入力される一番高いレベルの感情を使用するが、この一番高いレベルの感情のみで配置位置を決定する必要はない。例えば、深さセンサ１０６により、配置位置に机等、何らかのものがあることが検出されると、それらのものを避けた配置位置に調整することができる。また、端末装置１０との距離が閾値以上になると、一番高いレベルの感情に拘わらず、端末装置１０との距離が閾値となる位置を配置位置とすることができる。また、感情パラメータとして管理する感情の数は４つに限定されず、例えば、ポジティブとネガティブの２つとすることもできる。つまり、２つ以上の感情を設ければ良い。また、各感情に対してレベルを設けるのではなく、２つ以上の感情間の状態遷移図を作成し、要因に応じていずれか１つの感情の状態に遷移させる構成とすることもできる。さらに、レベルを管理する感情の２つ以上の組み合わせでキャラクタの動作を制御することができる。例えば、一番高い感情レベルと、２番目に高い感情レベルの組み合わせでキャラクタの動作を制御することができる。

以上、感情を変化させる要因それぞれについて、感情の変化量を示す変化情報を予め作成して制御部１０に保存しておく。或いは、要因と感情間の遷移の関係を示す変化情報を予め作成して制御部１０に保存しておく。そして、感情判定部１００３は、変化情報に基づきキャラクタの感情をシミュレートする。さらに、感情、或いは、感情とそのレベルの組み合わせと、キャラクタ画像の表示態様及び制御内容、並びに、キャラクタ画像の配置位置の変化量及び変化方向を示す制御情報を予め作成して制御部１０に保存しておく。そして、表示処理部１００２は、感情判定部１００３が判定したキャラクタの感情と制御情報に少なくとも基づいてキャラクタ画像をディスプレイ１０５に表示してその動作を制御する。この構成により、仮想物体の動作をより現実の人間や動物の様に制御することができる。なお、仮想物体の動作とは、表示態様のみならず、仮想物体が発生する音声として端末装置１０が出力する音声のトーンや、当該音声が示す内容（会話内容）を含む。

＜その他の形態＞
上記実施形態では、端末装置１０が、端末装置１０の位置及び方向を判定し、キャラクタの配置位置を判定し、キャラクタの感情を管理していた。しかしながら、ネットワークにサーバ装置を設け、サーバ装置が、キャラクタの感情の管理し、端末装置１０にキャラクタの動作に関する制御を指示する構成とすることもできる。この場合、端末装置１０は、キャラクタの表示処理を開始する際、端末装置１０の位置判定部１００１が判定した、端末装置１０の初期位置を示す位置情報（位置及び方向を含み、座標系は、位置判定部１００１が使用する座標系）と、第１撮像部１０３により撮像できる範囲を通知する。その後、端末装置１０は、位置判定部１００１が判定する位置情報を繰り返し送信し、かつ、キャラクタの感情を変化させる要因のうち、端末装置１０でのみ取得される情報もサーバ装置に送信する。具体的には、音声入力、テキスト入力、第２撮像画像、ＧＰＳ等で取得できる緯度、経度及び高度情報をサーバ装置に送信する。なお、緯度、経度及び高度情報は、サーバ装置が端末装置１０の場所を判定するために使用する。サーバ装置は、端末装置が表示しているキャラクタの感情を管理し、キャラクタの感情、又は、感情とそのレベルに基づき、キャラクタの配置位置や、その動作を決定して端末装置１０に通知する。なお、サーバ装置では、キャラクタの感情、又は、感情とそのレベルを管理して端末装置１０に通知し、感情、又は、感情とそのレベルに基づくキャラクタの動作制御については端末装置１０で決定する構成であっても良い。

なお、本発明による端末装置１０や、上記サーバ装置は、それぞれ、コンピュータを端末装置１０や、上記サーバ装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１０５：ディスプレイ、１０３：第１撮像部、１００３：感情判定部、１００２：表示処理部

Claims

端末装置であって、
ディスプレイと、
第１撮像手段と、
第２撮像手段と、
仮想物体の感情を表現する感情パラメータを管理する管理手段と、
前記感情パラメータに基づき決定される表示態様により前記仮想物体を前記第１撮像手段が撮像した撮像画像に重畳させて前記ディスプレイに表示する表示処理手段と、
を備えており、
前記管理手段は、前記第２撮像手段が撮像するユーザの表情に基づき判定される当該ユーザの感情又は前記ユーザが前記端末装置に入力した内容に基づき、前記感情パラメータを変更することを特徴とする端末装置。
前記管理手段は、前記第１撮像手段の位置及び方向にさらに基づき前記感情パラメータを変更することを特徴とする請求項１に記載の端末装置。
前記端末装置の緯度、経度及び高度を取得し、地図情報に基づき当該端末装置の場所を判定する判定手段をさらに備えており、
前記管理手段は、前記場所にさらに基づき、前記感情パラメータを変更することを特徴とする請求項１又は２に記載の端末装置。
前記管理手段は、時刻にさらに基づき、前記感情パラメータを変更することを特徴とする請求項１から３のいずれか１項に記載の端末装置。
前記表示処理手段は、前記感情パラメータを使用して前記仮想物体の動作を制御することを特徴とする請求項１から４のいずれか１項に記載の端末装置。
前記表示処理手段は、前記感情パラメータを使用して前記仮想物体の配置位置を決定し、前記第１撮像手段が撮像した前記撮像画像に前記配置位置が含まれる場合、前記仮想物体を前記撮像画像に重畳させて前記ディスプレイに表示することを特徴とする請求項１から５のいずれか１項に記載の端末装置。
請求項１から６のいずれか１項に記載の端末装置としてコンピュータを機能させることを特徴とするプログラム。
第１撮像手段、第２撮像手段及びディスプレイを備える端末装置における方法であって、
仮想物体の感情を表現する感情パラメータを管理することと、
前記感情パラメータに基づき決定される表示態様により前記仮想物体を前記第１撮像手段が撮像した撮像画像に重畳させて前記ディスプレイに表示することと、
を含み、
前記感情パラメータを管理することは、前記第２撮像手段が撮像するユーザの表情に基づき判定される当該ユーザの感情又は前記ユーザが前記端末装置に入力した内容に基づき、前記感情パラメータを変更することを含む、ことを特徴とする方法。
第１撮像手段及び第２撮像手段を有する端末装置から前記第２撮像手段が撮像する撮像画像又は前記端末装置のユーザが前記端末装置に入力した内容を示す情報を受信する受信手段と、
前記第１撮像手段が撮像した撮像画像に重畳させて、前記端末装置がディスプレイに表示している仮想物体の感情を表現する感情パラメータを管理する管理手段と、
前記感情パラメータに基づき、前記端末装置が前記ディスプレイに表示している前記仮想物体の動作を前記端末装置に通知する通知手段と、
を備えており、
前記管理手段は、前記第２撮像手段が撮像する撮像画像に含まれる前記ユーザの表情に基づき判定される当該ユーザの感情又は前記ユーザが前記端末装置に入力した内容に基づき、前記感情パラメータを変更することを特徴とするサーバ装置。
請求項９に記載のサーバ装置としてコンピュータを機能させることを特徴とするプログラム。