JP2018056907A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 遠隔会議において互いの話者の視線位置が異なるために、臨場感が損なわれる。【解決手段】 被写体がデータを閲覧する第一のデータ表示手段と、閲覧者がデータを閲覧する第二のデータ表示手段と、を用いて、被写体の画像を取得し、第一のデータ表示手段に対する被写体の位置を計測し、第二のデータ表示手段に対する閲覧者の位置を計測し、被写体及び閲覧者の位置に従って、第二のデータ表示手段に表示する被写体を傾けた画像を生成し、第二のデータ表示手段が生成した被写体の画像を表示する。【選択図】 図４

Description

本発明は遠隔会議におけるデータ表示に関するものである。

近年、遠隔地との会議において、遠隔地の映像や互いに共有しているアプリケーションを、ユーザ自身側にあるプロジェクターでユーザ自身側のスクリーンに表示するシステムがでてきている。ここでのアプリケーションは表管理ソフトや文書作成ソフトを指す。また、遠隔地とユーザ自身側のスクリーンには同じアプリケーションが表示されており、ユーザが表示位置を操作できるようになっている。特許文献１は双方向対話型システムにおける視線一致方法に関する特許である。この文献では、遠隔地側から受信した人物映像の顔の中心を基準点として定め、ユーザ自身の顔の中心とのずれが大きいときに人物映像を平行移動する。これにより、スクリーンに表示される遠隔地の人物映像の視線とユーザ自身の視線を一致させることができる。

特開平１１−７５１７４号公報

しかし、人物映像だけでなく、遠隔地と同じアプリケーションをスクリーンに表示し、それを見ながら会話をする際には、遠隔地の人物の視線がユーザ自身の見ているアプリケーションの表示位置に一致するようになってほしい。しかし、アプリケーションの表示位置が遠隔地とユーザ自身側で異なる場合には、着目する視線の位置が異なるため顔の傾きが異なり、ずれが生じるという課題がある。しかしながら、人物映像の平行移動という手段では顔の傾きが合わないため、アプリケーションの表示位置に視線の位置を合わせることができない。そのため、異なるアプリケーションを見ているように感じてしまい、臨場感が下がる。

本発明は、上記の課題に鑑みてなされたものであり、遠隔地の人物とユーザ自身とが見ているアプリケーションが同じ場合に、同じアプリケーションを見ているように感じさせる情報処理装置を提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。

本発明に係る情報処理装置は以下の構成を備える。即ち、被写体がデータを閲覧する第一のデータ表示手段と、閲覧者がデータを閲覧する第二のデータ表示手段と、被写体の画像を取得する取得手段と、第一のデータ表示手段に対する被写体の位置を計測する第一の計測手段と、第二のデータ表示手段に対する閲覧者の位置を計測する第二の計測手段と、第一の計測手段と第二の計測手段とで計測した被写体及び閲覧者の位置に従って、第二のデータ表示手段に表示する被写体を傾けた画像を生成する生成手段と、を備え、第二のデータ表示手段が前記生成手段で生成した被写体の画像を表示する。

本発明によれば、スクリーンに表示する人物画像の傾きを補正することで、遠隔地の人物の視線の位置を自分の見ているアプリケーションの表示位置に一致させ、同じアプリケーションを見ているように感じさせることができる。

実施形態１のシステムの構成例を示す 実施形態１におけるユースケースの例を示す 実施形態１におけるデータの構成例を示す 実施形態１における処理の流れを説明するためのフローチャートを示す 実施形態２におけるユースケース例を示す 実施形態３におけるユースケース例を示す 実施形態４におけるユースケース例を示す

以下、図面を参照しながら本発明を実施する形態を説明する。

＜実施形態１＞
本発明の第１の実施形態であるコンタクトウォール表示方法について説明する。

図１（ａ）はコンタクトウォールの概念図である。

コンタクトウォールは遠隔地にいる人物との会議のために、相手（遠隔地側）の映像と、アプリケーションをプロジェクターでユーザ自身側のスクリーンに表示するシステムである。このシステムは、被写体の映像とアプリケーションを互いのスクリーンに共有することで、相手があたかも隣または向かい側にいて、会話をしているかのような感覚を実現できる。閲覧者のスクリーンの上部にカメラを設置し、自分側の映像を遠隔地側に送信している。また、人物の上部にプロジェクターを設置し、遠隔地の人物と、アプリケーションをスクリーンに映し出している。遠隔地にも同様のシステムがあり、スクリーンの大きさは縦２００ｃｍ、横４００ｃｍで同一とする。アプリケーションは自分側と遠隔地側で同じものが表示されているとする。

図１（ｂ）は本システムの構成の説明図である。

カメラ１０１、１０７、ネットワーク１０２、サーバ１０３、プロジェクタ１０４、１０８、スクリーン１０６、１１０、マイク１１１、１１２、スピーカー１１３，１１４を備える。カメラ１０１は３台あり、ネットワーク１０２を介して人物１０５を撮影した映像をサーバ１０３に送信する機能を有する。同様にして、カメラ１０７はネットワーク１０２を介して人物１０９を撮影した映像をサーバ１０３に送信する機能を有する。マイク１１１はネットワーク１０２を介して人物１０５の発する音声をサーバ１０３に送信する機能を有する。同様にして、マイク１１２はネットワーク１０２を介して人物１０９の発する音声をサーバ１０３に送信する機能を有する。スピーカー１１３はネットワーク１０２を介してマイク１１２が送信した音声を再生する機能を有する。同様にして、スピーカー１１４はネットワーク１０２を介してマイク１１１が送信した音声を再生する機能を有する。サーバ１０３は本システムの機能を統括するものであり、受信した３枚の映像を幾何変換を施して１枚の映像に合成する機能を有する。また、映像を元にスクリーンから人物までの距離と視線位置、顔の傾きを計測し、それらの情報を用いて画像上の人物の傾きを補正する機能を有する。加えて、アプリケーションを実行し、スクリーンに表示させるための映像を生成する機能を有する。プロジェクタ１０４はカメラ１０７で撮影した映像およびアプリケーションをスクリーン１０６に表示する機能を有する。同様にして、プロジェクタ１０８はカメラ１０１で撮影した映像およびアプリケーションをスクリーン１１０に表示する機能を有する。ここでは、説明を簡単にするためカメラの設置位置、撮影方向や焦点距離などは固定とし、それらはカメラ設置情報としてサーバで管理されているものとする。

図１（ｃ）はサーバ１０３のハードウェア構成の例である。

演算部１３１は、情報処理のための演算、論理判断等を行う。演算部１３１はシステムバス１３７を介して、それらのバスに接続された各構成要素を制御する。表示部１３２は、画像情報の表示を制御するコントローラ及びディスプレイである。入力部１３３は、ボタン、キーボード、マウス等であり、ユーザからの指示が入力される。通信部１３４は、ＬＡＮ，３Ｇ，４Ｇ，Ｂｌｕｅｔｏｏｔｈ（登録商標）技術等に代表されるネットワークコントローラ等であり、他の装置との接続を制御する外部通信手段である。なお同様の目的を達成できる通信方式であれば前記具体例に限らない。ＲＡＭ１３５は、各構成要素からの各種データの一時記憶に用いられる。記憶部１３６は、フラッシュメモリ、ＨＤＤ、光学ディスクなどの物理媒体を用い、本実施形態で実行される処理プログラム等の制御プログラムコードのほか、各種設定データ、画像データ、距離データ等を記憶する。前記の各構成要素からなるサーバ１０３は、入力部１３３からの各種の入力及び通信部１３４から供給されるネットワーク経由の各種入力に応じて作動する。すなわち、入力部１３３からの入力及び通信部１３４からの入力が供給されると、まず、インタラプト信号が演算部１３１に送られる。そして、その演算部１３１が記憶部１３６に記憶してある各種の制御信号を読出し、それらの制御信号に従って、各種の制御が行われる。また、本実施形態に係わるプログラムを格納した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置が、記憶媒体に格納されたプログラムコードを読み出し実行することによっても本実施形態は達成される。

図１（ｄ）はサーバ１０３で人物画像の傾きを補正した画像を生成するためのモジュール構成図である。

データ取得部１５１は通信部１３４を通じて３台のカメラ１０１および１０７から３枚の人物の画像を取得してデータ保存部１５７に保存する。距離測定部１５２は３台のカメラを用いて三角測量を行い、スクリーンから顔の中心までの距離および位置を計測してデータ保存部に保存する。視線位置計測部１５５はデータ保存部の画像データから視線の位置を計測（視線計測）して、視線位置座標をデータ保存部に保存する。傾斜測定部１５８は人物の配置と視線の位置から顔の傾きを測定する。注視判定部１５９はアプリケーションの現在の表示範囲を取得して、視線位置がアプリケーションの表示範囲に含まれているかを判定する。アプリケーションは人物が入力部１３３により操作を行っており、その表示範囲の情報がサーバ１０３で管理されている。画像算出部１５３は人物１０５および人物１０９のスクリーンから顔の中心までの距離、視線位置、顔の傾きから、画像上の人物の相対的な位置および傾きを算出する。画像生成部１５４は算出した画像上の人物の傾きを用いて画像を生成する。データ表示部１５６は生成した画像をプロジェクタ１０４および１０８を用いてそれぞれスクリーン１０６、１１０に表示する。

図２はユースケースの模式図である。

（ａ）は本実施形態でのスクリーン１０６に対する人物１０５の立ち位置とアプリケーションの表示位置、人物の顔の傾きを示している。ここでは、アプリケーションの中心はスクリーンの左端から１００ｃｍの位置にあるものとする。また、人物１０５はスクリーンの左端から２００ｃｍの位置に立っていることを想定している。ここでは、簡単のために人物の上方から見た場合の顔の傾きのみを考慮した場合の説明を行う。人物１０５はスクリーン１０６の面からの垂直距離が１００ｃｍの位置に立っており、アプリケーションを見ている。このとき、人物からスクリーンに対するアプリケーション方向の角度は４５度となっている。（ｂ）は本実施形態でのスクリーンに対する人物１０９の立ち位置とアプリケーションの表示位置、人物の顔の傾きを示している。スクリーンの左端から２７ｃｍの位置にアプリケーションの表示範囲の中心があるものとする。また、人物１０９はスクリーン１１０の左端から２００ｃｍ、スクリーンの面から垂直距離が１００ｃｍの位置からアプリケーションを見ており、人物からスクリーンに対するアプリケーション方向の角度は６０度となっている。（ｃ）は人物１０９の像２０１の傾きを補正する前の画像をスクリーン１０６に表示している状態を示している。（ｂ）で示した人物１０９を左右対称に反転させた像２０１をスクリーンに表示している。ここでは、人物１０９はスクリーン１１０の左端から２００ｃｍ、スクリーンの面からの垂直距離が１００ｃｍの位置に立っているため、反転させた像はスクリーン１０６の右端から２００ｃｍ、スクリーンの面からの垂直距離が１００ｃｍの位置となる。人物１０５はスクリーンの左端から１００ｃｍの位置を見ているのに対して、像２０１はスクリーンの右端から２７ｃｍの位置を見ているように見える。このため、同じアプリケーションを見ていないように感じる。（ｄ）は本実施形態で人物１０９の像２０１の傾きを補正した後の画像をスクリーン１０６に表示している状態を示している。像２０１の傾きを人物１０５が着目しているアプリケーションの表示範囲の中心に合わせるように、顔の傾きを補正している。これにより、同じアプリケーションを見ているように感じさせることができる。（ｅ）は人物１０５の像２０２の傾きを補正する前の画像をスクリーン１１０に表示している状態を示している。（ａ）で示した人物１０５を左右対称に反転させた像２０２をスクリーンに表示しており、像の位置はスクリーン１１０の右端から２００ｃｍ、スクリーンの面からの垂直距離が１００ｃｍの位置となる。人物１０９に対して像２０２は傾きが異なるため、視線位置が異なり、同じアプリケーションを見ていないように感じる。（ｆ）は本実施形態で人物１０５の像２０２の傾きを補正した後の画像をスクリーン１１０に表示している状態を示している。像２０２の傾きを人物１０９が着目しているアプリケーションの表示範囲の中心に合わせるように、顔の傾きを補正している。これにより、同じアプリケーションを見ているように感じさせることができる。

図３はデータの構成図である。

距離データ３０１、３０４は距離測定部が測定したスクリーンから顔の中心までの距離を保持するデータである。ユーザＩＤと距離データで構成される。ユーザＩＤは個人を唯一に特定するための識別子である。

視線位置データ３０２、３０５は人物がスクリーンのどの位置を見ているかの座標を表す。視線位置データはユーザＩＤとｘ座標とｙ座標で構成される。ユーザＩＤは個人を唯一に特定するための識別子である。座標はディスプレイの左下を原点として二次元の座標系で表し、正の値を取る。

傾斜データ３０３、３０６は、図２（ｂ）で示したスクリーンに対する人物の顔の傾きを表す。傾斜データはユーザＩＤ、顔の傾きで構成される。ユーザＩＤは個人を唯一に特定するための識別子である。

アプリデータ３０７、３０８はスクリーン１０６、１１０でスクリーン左端を原点としたアプリケーションの表示範囲を示したものである。アプリデータはアプリＩＤ、ｘ１座標、ｙ１座標、ｘ２座標、ｙ２座標で構成され、アプリケーションの表示範囲の左下と右上の座標を示している。アプリＩＤはアプリケーションを唯一に特定するための識別子である。ここでは、アプリケーションは長方形の表示領域であることを仮定している。

上述の画像上の人物の傾きの補正の処理を、フローチャートに従って説明する。

図４はコンタクトウォールに画像を表示する際の像の傾きを補正する処理を表したフローチャートである。

まず、データ取得部１５１が３つのカメラ１０１で人物１０５の画像データを３枚取得して、データ保存部１５７に保存する（Ｓ４０１）。次に、距離測定部１５２が３つのカメラのうち左右の２つのカメラを用いて、スクリーンから人物１０５の目と目の間の顔の中心までの距離を三角測量により測定して、距離データ３０１としてデータ保存部に保存する（Ｓ４０２）。本実施形態ではスクリーン１０６および１１０の左下に実世界座標の原点が来るようにあらかじめキャリブレーションで調整している。次に、視線位置計測部１５５がデータ保存部に保存されている画像から視線の位置座標を視線位置データ３０２としてデータ保存部に保存する（Ｓ４０３）。本実施形態では先行文献、特開２０１３−４１５４５で用いられている技術を用い画像から視線の位置座標を求める。次に、傾斜測定部が人物１０５の顔の傾きを測定し、傾斜データ３０３としてデータ保存部に保存する（Ｓ４０４）。本実施形態では、スクリーンから左右の目までの距離の差に基づいて顔の傾きを求める。図２（ｇ）を用いて説明する。まず、左目と右目の中点を通る直線に対する垂線を求める。そして、その垂線とスクリーンから顔の中心までの直線がなす角を求めることで顔の傾きが得られる。このとき、スクリーン水平方向をｘ軸、スクリーン垂直方向をｚ軸として、スクリーンの左端を原点とする。この例では、左目のｘ座標は２００ｃｍ、ｚ座標は１１０ｃｍとなり、右目のｘ座標は２１０ｃｍ、ｚ座標は１００ｃｍとなる。このときの、顔の傾きはａｒｃｔａｎ（１）＝４５度となる。Ｓ４０５〜Ｓ４０８では同様にして、人物１０９のスクリーンから顔までの距離を測定し、視線位置を計測し、顔の傾きを測定する。その結果、距離データ３０４、視線位置データ３０５、傾斜データ３０６が得られる。次に、注視判定部１５９がサーバ１０３からスクリーン１０６でのアプリケーションの表示範囲を表すアプリデータ３０７を取得し、視線位置データ３０２の座標が表示範囲に入っているかを判定する。同様にして、スクリーン１１０でのアプリケーションの表示範囲を表すアプリデータ３０８に視線位置データ３０５の座標が含まれているかを判定する（Ｓ４０９）。ここでは、人物１０５の視線位置が（１００ｃｍ，１００ｃｍ）でアプリケーションの表示範囲の左下が（９５ｃｍ，９５ｃｍ）で右上が（１０５ｃｍ，１０５ｃｍ）のため含まれている。また、人物１０９の視線位置が（２７ｃｍ，１００ｃｍ）でアプリケーションの表示範囲の左下が（２５ｃｍ，９５ｃｍ）で右上が（２９ｃｍ，１０５ｃｍ）のため含まれている。含む場合には、同じアプリケーションを見るように人物１０９の像２０１の傾きを補正する。ここでは、アプリケーションの表示範囲の中心を見るように傾きを補正する。スクリーン１０６に映し出されるアプリケーションの表示範囲の中心は（１００ｃｍ，１００ｃｍ）である。画像算出部が距離データ３０１、３０４から像２０１の大きさを算出する（Ｓ４１０）。図２（ｈ）を用いて説明する。本実施形態では奥行きのある映像をスクリーンに表示している。そのため、人物１０５と像２０１が同じ距離にある場合、像の大きさが１倍になるように制御する。次に、画像算出部１５３が距離データ３０１、視線位置データ３０２、傾斜データ３０３を用いて補正する像の傾きを算出する（Ｓ４１１）。本実施形態では、人物１０５が着目しているアプリケーションの表示範囲の中心に像２０１の視線位置を合わせるように傾きを補正する。ここでは、スクリーンに対する人物の立ち位置が同じであるため、像２０１の傾きを人物１０５の傾きに合わせることで視線位置を合わせることができる。そのため、顔の傾きが４５度の人物１０５に対して、人物１０９は顔の傾きは６０度のため、補正する像の傾きは４５度となる。次に、画像生成部１５４は算出した像の大きさ、傾きに基づいて像２０１の画像データを生成する（Ｓ４１２）。ここでは、像の大きさを１倍、傾きを４５度に補正した画像を生成する。画像の生成は公知の技術を用いて行う。Ｓ４０５で取得した三枚の画像データを用いて幾何変換を用いて像の補正を行い、画像を生成する。本実施形態では、人物のみを認識し、画像から切り出して補正を行い、背景に対しては補正は行わない。そして、データ表示部１５６が生成した画像をスクリーン１０６に表示する（Ｓ４１３）。同様にして、Ｓ４１４〜Ｓ４１７で人物１０５の像２０２を補正した画像を生成し、スクリーン１１０に表示する。この例では、像２０２の傾きは６０度、大きさは１倍となるように補正する。

以上で本実施形態におけるコンタクトウォール表示方法についての説明は終わりである。

以上の説明では、画像上の人物の補正、画像の生成および表示はサーバ１０３が一括して行っていたが、別々のサーバをネットワークで接続して、個別に処理を行ってもよい。また、像の傾きの補正はアプリケーションの表示範囲に視線位置が含まれている場合のみ行ったが、そうでない場合はアプリケーションの表示範囲の中心と視線位置の差分量に合わせて補正してもよい。また、アプリケーションの表示範囲に視線位置が含まれていた時間に合わせて補正を行うかの判定をしてもよい。また、複数のアプリケーションが表示されている場合には、アクティブとなっているアプリケーションを対象にして上述の処理を行ってもよい。また、遠隔地側とは異なるアプリケーションを自分側で開いている場合は、そのアプリケーションを非対象として処理を進めてもよい。また、本実施形態では画像から人物を切り出して、その人物の像に対して傾きの補正を行う方法を示したが、画像全体に対して傾きを補正する処理を行ってもよい。また、画像の表示にはプロジェクターとスクリーンを用いたが、テレビやディスプレイを用いてもよい。

本実施形態によれば、人物が着目しているアプリケーションの表示範囲の中心に像の視線位置を合わせるように像の傾きを補正することで、同じアプリケーションを見ているように感じさせることができる。それにより、臨場感を増すことができる。

＜実施形態２＞
実施形態１では、人物１０５および人物１０９のスクリーンの左端からの距離および、垂直方向の距離が等しい場合の画像の補正方法について述べた。本実施形態では、人物１０５および人物１０９のスクリーンの左端からの距離および垂直方向の距離が異なる場合に、像の立ち位置を補正し、それに合わせて像の傾きを補正することで、相手が目の前に立っているように感じさせる方法について述べる。ハードウェアの構成例は、実施形態１と同様である。

図５は本実施形態のユースケースの模式図である。

（ａ）は本実施形態での人物の立ち位置の関係を示している。人物１０５はスクリーン１０６の左端を原点として（２００ｃｍ，１００ｃｍ）の位置にいる。同様に、人物１０９はスクリーン１１０の左端を原点として（３００，５０）の位置にいる。また、本実施形態では、簡単のためアプリケーションの表示範囲はスクリーン１０６、１１０で同じとし、表示範囲の中心がスクリーンの中心から１００ｃｍの位置あるものとする。（ｂ）は本実施形態での像５０１の位置を補正する前の画像の表示状態を示している。この状態では、人物１０５に対して人物１０９の像５０１のスクリーンの端からの距離が異なるため、離れた位置にいるように感じられる。（ｃ）は本実施形態での像５０１の位置を補正した後の画像の表示状態を示している。本実施形態では画像算出部１５３が人物１０５の立ち位置に人物１０９の像５０１の立ち位置を合わせるように座標を算出する。ここでは、像５０１の立ち位置は座標（２００ｃｍ，１００ｃｍ）と算出される。（ｄ）は本実施形態での像５０１の傾きを補正した後の画像の表示状態を示している。実施形態１と同様に、アプリケーションの表示範囲の中心に視線が合うように、像５０１の傾きを補正する。したがって、この場合は像の傾きは４５度となる。また、像を補正した後の背景画像は、補正前の像があった部分に関しては、三台のカメラ１０７で撮った画像を元に、幾何変換を用いて補完を行う。補正後に像が移動した部分に関しては、三台のカメラ１０７で撮った画像を元に、背景画像に重畳して表示して見えるように幾何変換を用いて行う。（ｅ）は本実施形態での像５０２の位置を補正する前の画像の表示状態を示している。この状態では、人物１０９に対して像５０２が離れた位置にいるように感じられる。（ｆ）は本実施形態での像５０２の位置を補正した後の画像の表示状態を示している。人物１０９の立ち位置に像５０２の位置を合わせるように補正し、座標は（３００ｃｍ，５０ｃｍ）となる。（ｇ）は本実施形態での像５０２の傾きを補正した後の画像の表示状態を示している。アプリケーションの表示範囲の中心に視線が合うように、像５０１の傾きを７５．９度に補正する。

以上の説明では、背景画像に関しては補正前の像のあった部分を補完し、補正後に像が移動した部分に関しては像が重畳するように構成したが、像の移動とともにその背景を移動させるように幾何変換を用いて構成してもよい。

本実施形態によれば、立ち位置が違い相手が遠くに感じられる場合でも、像の位置を自分の立ち位置に合わせるように補正し、アプリケーションの表示範囲の中心に視線が合うように傾きを補正することで、相手が近くにいるように感じさせることができる。その結果、臨場感を増すことができる。

＜実施形態３＞
実施形態２では、スクリーンの前の人物が一人で、立ち位置が異なる場合の傾きの補正方法について述べた。本実施形態では、スクリーンの前に複数人いる場合に、人物の立ち位置に重なりがないように表示間隔を調整して、傾きを補正する方法について述べる。ハードウェアの構成例は、実施形態１と同様である。

図６は本実施形態のユースケースの模式図である。

（ａ）は本実施形態での人物の立ち位置の関係を示している。ここでは、簡単のためにスクリーン１０６に対して一人、スクリーン１１０に対して二人いる場合を考える。ここでは、人物１０５はスクリーン１０６の左端を原点として（２００ｃｍ，１００ｃｍ）の位置にいるとする。同様に、人物６０１はスクリーン１１０の左端を原点として（３００ｃｍ，１００ｃｍ）、人物６０２は（２５０ｃｍ，１００ｃｍ）の位置にいる。（ｂ）は本実施形態での像の位置を補正する前の画像の表示状態を示している。この状態では、人物１０５に対して人物６０１の像６０３が遠い位置にいるように感じられる。これに対して、実施形態２と同様の立ち位置の補正を行うと、人物６０１の像６０３と人物６０２の像６０４が重なってしまう。（ｃ）は本実施形態での像の位置を補正した後の画像の表示状態を示している。本実施形態ではスクリーンに水平方向の立ち位置の差に、あらかじめ定めた補正係数をかけた値を用いて、像の位置の補正を行う。それにより、人物同士が重なることを避ける。ここでは補正係数は０．３とする。この例では、人物１０５と像６０３と６０４のスクリーンに水平方向の立ち位置の差は１００ｃｍ、５０ｃｍとなる。そのため、人物６０１の像の立ち位置の補正値は３００ｃｍ−１００ｃｍ×０．３＝２７０ｃｍとなり、人物６０２の像の立ち位置の補正値は２５０ｃｍ−５０ｃｍ×０．３＝２３５ｃｍとなる。（ｄ）は本実施形態での像の傾きを補正した後の画像の表示状態を示している。本実施形態では、アプリケーションの表示範囲の中心から像６０３、６０４までの距離と、人物からスクリーンまでの距離を用いて傾きを求める。ここでは、像６０３の傾きはａｒｃｔａｎ（１．７）＝５９．５度、同様にして像６０４の傾きは５３．４度となる。これを用いて傾きを補正する。（ｅ）は本実施形態での像の位置を補正する前の画像の表示状態を示している。この状態では、人物６０１、６０２に対して像６０５が遠い位置にいるように感じられる。（ｆ）は本実施形態での像の位置を補正した後の画像の表示状態を示している。このとき、像は１つしかないため表示が重なる恐れがない。そのため、本実施形態では像６０５に対して立ち位置の最も近い、人物６０２と同じ座標（２５０ｃｍ，１００ｃｍ）に像を補正する。（ｇ）は本実施形態での像の傾きを補正した後の画像の表示状態を示している。本実施形態では、アプリケーションの表示範囲の中心に視線が合うように像の傾きを補正する。この場合、傾きは５６．３度となる。

以上の説明では、立ち位置の差に補正係数をかけることで、像の位置の補正値を決定したが、一定間隔で像の表示を行うように補正値を決定してもよい。また、スクリーンに対して平面に像の位置を補正したが、垂直あるいはその両方を用いて補正を行ってもよい。また、像６０５の位置は立ち位置が最も近い人物６０２に補正したが、人物６０１と人物６０２の立ち位置の中点に補正してもよい。

本実施形態によれば、立ち位置の差に基づいて表示間隔を調整することで、画像上の人物間の重なりを防ぐことができ、違和感をなくすことができる。

＜実施形態４＞
実施形態２では、自分と相手がスクリーンの端から同じ位置に立っておらず、スクリーンに表示されるアプリケーションを着目している場合を想定した。本実施形態では、自分と相手がスクリーンの端から同じ位置に立っておらず、人物が物体に着目している場合を想定する。ここでの物体は人物以外のパーツなどの試作品を意味する。この場合に、人物の像を移動させて、物体を向いているように傾きを補正する。それにより、相手が近くにいて、物体を着目しているように感じさせる。ハードウェアの構成例は、実施形態１と同様である。

図７は本実施形態のユースケースの模式図である。

（ａ）は本実施形態での人物の立ち位置の関係を示している。人物１０５は（３００ｃｍ，１００ｃｍ）の位置にいて、物体の像がスクリーン１０６に映しだされている映像を見ている。人物１０９は（２００ｃｍ，１００ｃｍ）の位置にいて、物体を着目している。物体は（１００ｃｍ，５０ｃｍ）の位置にある。（ｂ）は本実施形態での人物１０５の像７０１の位置を補正する前の画像の表示状態を示している。この状態では像７０１と人物１０９のスクリーン端からの位置が異なるため、遠くにいるように感じる。（ｃ）は本実施形態での像を移動させた後の画像の表示状態を示している。像７０１をスクリーン端からの位置が人物１０９と同じ位置になるように移動させる。この例では、像を（２００ｃｍ，１００ｃｍ）に移動させる。そうすると、像７０１は物体がある位置とは別の位置を着目しているように見える。（ｄ）は本実施形態での像の傾きを補正した後の画像の表示状態を示している。本実施形態では、像７０１が物体に着目しているように傾きを補正する。ここでは、物体が（１００ｃｍ，５０ｃｍ）、人物の像７０１が（２００ｃｍ，１００ｃｍ）にあるため、傾きをａｒｃｔａｎ（０．６６）＝３３．６度となるように補正する。その結果、物体を着目しているように見える。

以上の説明では、人物１０５の像を補正する方法について述べたが、人物１０９の像について補正を行ってもよい。この場合、像の位置を人物１０５と同じ位置に補正し、像の傾きを物体の像がある方向に補正する。また、人物の像の補正に従って、物体の像の位置の補正を行ってもよい。このとき、補正後の人物の像と物体の像の距離が一定の値より大きくなる場合は補正を行わなくてもよい。また、物体を着目している場合を仮定して説明を行ったが、物体の領域を特定し、その領域に視線位置が含まれているかに基づいて、人物の像の補正を行ってもよい。

本実施形態では、人物がスクリーン端から同じ位置に立っておらず、物体に着目している場合に、画像上の人物の位置を移動させて、物体に着目するように人物の傾きを補正する。これにより、人物と人物の像がスクリーン端から同じ位置に立っていない場合でも、相手が近くにいて、物体に着目しているように感じさせることができる。これにより、臨場感を増すことができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

ＨＤＤ ハードディスク

Claims (7)

1. 被写体がデータを閲覧する第一のデータ表示手段と、閲覧者がデータを閲覧する第二のデータ表示手段と、を用いた情報処理方法であって、
   被写体の画像を取得するデータ取得工程と、
   第一のデータ表示手段に対する被写体の位置を計測する第一の計測工程と、
   第二のデータ表示手段に対する閲覧者の位置を計測する第二の計測工程と、
   第一の計測工程と第二の計測工程とで計測した被写体および閲覧者の位置に従って、第二のデータ表示手段に表示する被写体を傾けた画像を生成する生成工程と、を備え、
   第二のデータ表示手段に前記生成工程で生成した被写体の画像を表示させることを特徴とする情報処理方法。
2. 前記第一の計測工程では、第一のデータ表示手段に対する被写体の相対的な位置および傾きを計測し、
   前記第二の計測工程では、第二のデータ表示手段に対する閲覧者の相対的な位置および傾きを計測することを特徴とする請求項１記載の情報処理方法。
3. 被写体の画像から人物を認識する認識工程と、
   人物の視線位置を計測する視線計測工程と、を備え、
   前記第一の計測工程では第一のデータ表示手段に対する人物の相対的な傾きを前記視線位置に基づいて計測し、
   前記第二の計測工程では第二のデータ表示手段に対する閲覧者の相対的な傾きを前記視線位置に基づいて計測することを特徴とする請求項２記載の情報処理方法。
4. 前記生成工程は、第二のデータ表示手段に対する閲覧者の配置および、第一のデータ表示手段に対する複数の被写体の配置に基づいて、第二のデータ表示手段に表示する複数の被写体の画像が重ならないように被写体の画像を移動することを特徴とする請求項１乃至３何れか１項に記載の情報処理方法。
5. 前記認識工程ではさらに、人物以外の物体を認識し、
   第一のデータ表示手段に対する前記物体の位置を計測する第三の計測工程を更に備え、
   前記生成工程では、計測した物体の位置、被写体および閲覧者の位置に従って、第二のデータ表示手段に表示する被写体の画像を生成することを特徴とする情報処理方法。
6. 被写体がデータを閲覧する第一のデータ表示手段と、閲覧者がデータを閲覧する第二のデータ表示手段と、
   被写体の画像を取得するデータ取得手段と、
   第一のデータ表示手段に対する被写体の位置を計測する第一の計測手段と、
   第二のデータ表示手段に対する閲覧者の位置を計測する第二の計測手段と、
   第一の計測手段と第二の計測手段とで計測した被写体および閲覧者の位置に従って、第二のデータ表示手段に表示する被写体を傾けた画像を生成する生成手段と、を備え、
   第二のデータ表示手段が前記生成手段で生成した被写体の画像を表示することを特徴とする情報処理装置。
7. 被写体がデータを閲覧する第一のデータ表示手段と、閲覧者がデータを閲覧する第二のデータ表示手段と、を用いて、コンピュータを、
   被写体の画像を取得するデータ取得手段と、
   第一のデータ表示手段に対する被写体の位置を計測する第一の計測手段と、
   第二のデータ表示手段に対する閲覧者の位置を計測する第二の計測手段と、
   第一の計測手段と第二の計測手段とで計測した被写体および閲覧者の位置に従って、第二のデータ表示手段に表示する被写体を傾けた画像を生成する生成手段と、として機能させ、
   第二のデータ表示手段に前記生成手段で生成した被写体の画像を表示させるプログラム。

Images