JP2013222190A

JP2013222190A - カメラと顔認識システムで画面へ立体を表現する方法

Info

Publication number: JP2013222190A
Application number: JP2012105494A
Authority: JP
Inventors: Hideaki Miyashita; 英明宮下
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-04-12
Filing date: 2012-04-12
Publication date: 2013-10-28

Abstract

【課題】この発明は、カメラ（１）と顔認識システムを用いて、任意の位置から見た立体を画面（２）へ表現する方法に関するものである。
【解決手段】カメラ（１）と画面（２）と顔認識システムが実装されている機器（４）で本発明による方法を用いることにより、観察者（３）が任意の角度からみたときの立体を画面（２）へ表示する。本手段は、対象となるカメラ（１）と観察者（３）との相対的な位置関係が、画像または映像（５）で特定できることを利用している。具体的には以下のステップによる。
Ｓ１０カメラ（１）により、観察者（３）の画像または映像（５）を撮影。
Ｓ２０顔認識システムにより、画像または映像（５）に写っている観察者（３）の顔サイズ等を検出し計測。
Ｓ３０実際の顔のサイズ、撮影された位置から画面（２）と観察者（３）との位置関係を推定。
Ｓ４０観察者から見た像の計算し、像（８）を画面（２）へ表示。
【選択図】図１

Description

この発明は、カメラ（１）と顔認識システムを用いて、任意の位置から見た立体を画面（２）へ表現する方法に関するものである。

画面で何か表示するとき、一般的には、観察者（３）は画面の中心から見ることを前提としている。視差バリアを用いて３Ｄで表示をする場合においても、一般的には、観察者（３）は画面の中心から見ることを前提としている。
また、視差バリアを用いることにより、他の角度からみたときに違う画像を表示する方法も広く知られている。この方法を用いて、他の角度からみたときの立体を表示すれば、いくつかの角度からみたときの立体を表現することができる。

発明が解決しようとしている課題

視差バリアを用いずに、様々な角度から画面をみたときの立体を表現する方法は大掛かりな機器を必要とする。一方、視差バリアを用いることにより、複数の方向から見たときの画像を画面へ表示することは可能であるが、数パターン程度の向きに限られる。本発明は、大掛かりな機器や視差バリアを用いなくても、任意の位置から見た立体を画面へ表現することができる方法である。

課題を解決するための手段

本発明では、カメラ（１）、画面（２）、顔認識システムを実装した機器（４）が必要である。さらに以下の手順により課題を解決する。
（イ）本方法は、対象物の大きさが予めわかっていれば、画像または映像（５）に写る対象物の位置と大きさで、カメラ（１）と対象物との相対位置が特定できることを利用している。予め、以下の作業をしておく必要がある。
ａ）カメラ（１）から顔を撮影し、画像または映像（５）に写る顔の大きさ・位置・角度などの情報を顔認識システムにより検出して入力値とし、実際のカメラ（１）と顔との相対位置関係を出力値とする。入力値と出力値のサンプルを収集し、任意の顔の位置で入力値から出力値を内挿できるようにしておく。
ｂ）カメラ（１）から標準の位置（Ｌ０）へ観察者（３）の顔を固定し、観察者（３）の顔のパーツ等を計測する（以下、キャリブレーションと呼ぶ）。ただし、予め観察者（３）の顔の大きさがわかっている場合や、精度を求めない場合は、ｂ）を省略しても良い。
（ロ）カメラ（１）が観察者（３）を撮影する。
（ハ）カメラ（１）により写した画像または映像（５）から顔認識システムにより観察者（３）の顔の位置・顔の大きさ・顔の角度などを検出する。続いて（イ）を用いてカメラ（１）から観察者（３）の位置を計算（内挿）する。この計算により画面（２）と観察者（３）の相対的な位置関係を推定する。
（ニ）（ハ）により計算した観察者（３）の目の位置から、画面（２）を見たときの像（画面へ投影した像）（８）を画面（２）へ表示する。画面（２）へ投影した像（８）は、計算より求めて描画しても良いが、様々な角度から見た像を予め用意しておき表示しても良い。
（ホ）観察者（３）と画面との相対位置を検出する精度を向上させるには、以下の方法が有効である。
ａ）（イ）ａ）のサンプルを多くとり内挿の精度を向上させる。
ｂ）複数のカメラ（１）により本手段を用いる。
ｃ）画角の広いカメラ（１）を採用し、死角を減らす。
ｄ）人物を見分けられる顔認識システムを用いる。
ｅ）カメラ（１）と観察者（３）との相対位置関係を複数のパターンとしたキャリブレーションを行う。

発明の効果

画面とカメラとコンピュータで構成されている機器は、比較的安価に製造できる状況にあり、様々な形態で普及している。これらの組合せを実装した機器で本発明による方法を用いることにより、任意の位置からみたときの立体を画面（２）へ表現することができる。

図１に、この発明の一実施形態を示す。機器（タブレット型情報端末）（４）には画面（２）と、観察者（３）を撮影するためのカメラ（１）が取り付いている。観察者（３）は少し上から画面（２）を見ている。以下、ステップの順に沿って説明する。
Ｓ１０カメラ（１）により、観察者（３）の画像または映像（５）を撮影する。
Ｓ２０顔認識システムを活用することにより、画像または映像（５）に写っている観察者（３）の顔のサイズや位置、角度などを検出し計測する。
Ｓ３０Ｓ２０により得られた情報を元に観察者（３、６）の位置を推定する。
Ｓ４０観察者（３、６）から見た像を計算し、像（８）を画面へ表示する。
Ｓ５０観察者（３、６）は、３Ｄモデル（７）を少し上から見た像（８）として見える。
観察者（３）の目の位置や角度が変わったら、Ｓ１０〜Ｓ４０を繰り返すことにより、任意の位置から３Ｄモデル（７）を見たときの像（８）を画面（２）へ表示する。
図２に「画面へ投影した像」（８）の計算方法を示す平面図を示す。計算方法は、透視投影と呼ばれる図法で確立されている。一般的なコンピュータグラフィックスでは、観察者（視点）と画面との関係を仮想空間内で計算するが、本発明での観察者（３）と画面（２）との位置関係は、現実の位置関係を反映している点が異なる。ここでは簡単に説明するために、２次元で説明する。観察者（３）からＬ１だけ離れたところに画面（２）がある。３Ｄモデル（７）は、正方形であり、１辺は観察者（３）からＬ１だけ離れたところ、もう１辺は観察者（３）からＬ２だけ離れた箇所にあるとする。観察者（３）が画面（２）を通して見える幅は、画面（２）の幅Ｗ１と一致する。続いて、観察者（３）からＬ２だけ離れた先の空間は、Ｗ２の幅だけ見えることとなる。これにより、観察者（３）からＬ２だけ離れた空間は、Ｗ１／Ｗ２だけ小さく見えることとなり、それだけ小さく表示する。図２では２次元で説明したが、実際には幅方向のほかに高さ方向も幾何計算を行い、遠方ほど小さくなるように画面（２）へ表示する。なお、観察者（３）と画面（２）との相対位置関係は実際には任意の位置となるが、計算方法は同じである。
図３に、図１に示した一実施形態でキャリブレーションするときの概念図を示す。カメラ（１）から標準の長さだけ離れた位置Ｌ０で写した画像または映像（５）へ写る対象物から、実際の大きさを予め推定できるにしておく。以降、下記のステップにより進める。
Ｓ６０観察者（３）は、カメラ（１）から標準の長さだけ離れた位置Ｌ０へ顔を固定する。
Ｓ７０画像または映像（５）から、顔認識システムを用いて、観察者（３、６）の目の距離、目から口までの距離を計測し、実際の顔の寸法を推定する。
図４に、画像または映像（５）からカメラ（１）と被写体との位置を推定するサンプルデータを作成するときの、一実施形態を示す。カメラ（１）からＬ３だけ離れた距離で、方眼状の定規（９）を撮影する。このときの、画像または映像（５）に写る方眼状の定規（９）の位置の情報をインプットデータとし、実際のカメラ（１）と方眼状の定規（９）との距離の情報をアウトプットデータとして、データ収集を行い、任意の位置で撮影した被写体の相対位置を線形補間により内挿できるようにする。
「実施形態の効果」
一実施形態により、観察者（３）が任意の位置から見たときの３Ｄモデル（７）を画面（２）へ表示することができる。
「他の実施形態」
前述の図１の説明では、機器（４）をタブレット型情報端末としたが、カメラ（１）、画面（２）、顔認識システムの機能があれば別の形態であっても構わない。また、本発明は、立体視が可能な画面と組み合わせて表現することも可能である。
前述の図４の説明では、方眼状の定規を用いて説明したが、実際にはどんな形状の被写体を用いてもデータ収集は可能である。また、内挿の方法も、代表的な方法として線形補間としたが、内挿ができれば、他の方法を用いても良い。

この発明の一実施形態の概念図である。図１で画面（２）へ投影された像（８）の計算を説明するための平面図である。図１でキャリブレーションするときの概念図である。画像または映像（５）から実際の位置を推定するサンプルデータを作成するときの一実施形態の概念図である。

１カメラ
２画面
３観察者
４機器
５画像または映像
６観察者を簡易表示するための記号
７３Ｄモデル
８（画面へ投影した）像
９方眼状の定規
Ｌ１，Ｌ２，Ｗ１，Ｗ２図２を説明するときの寸法
Ｌ０キャリブレーションするときに指定する長さ
Ｌ３図４を説明するときの寸法
Ｓ１０写真または映像の撮影するステップ
Ｓ２０顔認識システムを活用することにより顔サイズ等を計測するステップ
Ｓ３０観察者位置を推定するステップ
Ｓ４０観察者から見た像を計算し像を表示するステップ
Ｓ５０観察者が視聴するステップ
Ｓ６０カメラから指定された位置に観察者が顔を固定するステップ
Ｓ７０画像または映像から観察者の大きさを推定するステップ

Claims

カメラ（１）、画面（２）、顔認識システムから成り、カメラ（１）が写した画像または映像（５）から顔認識システムを用いて観察者（３）とカメラ（１）との相対位置を推定し、観察者（３）から画面（２）を見たときの像（８）を画面（２）へ表示することにより、観察者（３）が任意の位置からみた立体を画面（２）へ表現する方法。