JP2018032111A

JP2018032111A - 情報処理装置、情報処理システム、操作用オブジェクト、および情報処理方法

Info

Publication number: JP2018032111A
Application number: JP2016162288A
Authority: JP
Inventors: 隆行石田; Takayuki Ishida; 大場　章男; Akio Oba; 章男大場; 稲田　徹悟; Tetsugo Inada; 徹悟稲田
Original assignee: Sony Interactive Entertainment LLC
Current assignee: Sony Interactive Entertainment LLC
Priority date: 2016-08-22
Filing date: 2016-08-22
Publication date: 2018-03-01
Anticipated expiration: 2036-08-22
Also published as: US20190295286A1; EP3503031B1; US10957070B2; EP3503031A4; EP3503031A1; JP6650848B2; WO2018037975A1

Abstract

【課題】撮影画像を用いて、状況によらず安定的に多様な情報を取得する。
【解決手段】操作用オブジェクトは多面体１３０を含む。多面体１３０は、立方体の各頂点を異なる角度で切り取ってなる特徴面１３２ａ、１３２ｂ、１３２ｃ、１３２ｄを含む。情報処理装置はその偏光画像から各面の法線ベクトルを取得する。そして互いに直交する基準面の法線ベクトルＮ_１、Ｎ_２、Ｎ_３の平均ベクトルＮ_ａと、基準面に囲まれた特徴面１３２ｂの法線ベクトルＮ_０とのなす角度を特徴量として当該特徴面１３２ｂを特定する。特定結果とその法線ベクトルを用いて、操作用オブジェクトの位置や姿勢を取得する。
【選択図】図５

Description

本発明は、撮影画像を利用して情報処理を行う情報処理装置、情報処理システム、それに用いる操作用オブジェクト、および情報処理方法に関する。

近年、電子ゲームなどの情報処理の分野では、撮影画像に基づきユーザの動きを入力情報としてリアルタイムに取り込むことで、直感的な操作や臨場感のある画像表現が実現されてきた。例えば所定色で発光するマーカーを備えた装置をコントローラとして、その撮影画像を入力情報とすることでユーザの動きを特定し、それに応じた情報処理を実施する技術が実用化されている（例えば特許文献１参照）。

ＷＯ２００７／０５０８８５Ａ２公報

所定の形状、サイズ、色を有するマーカーを利用することにより、撮影画像における像の検出や位置の取得が容易になり、実世界での状態や動きを情報処理に効率的に取り込める。しかしながらそのような役割を十分な精度で発揮するには、マーカー全体が撮影されていることが重要となる。例えば複数の人や物が交錯するような状況においてマーカーの一部が隠蔽されていると、検出精度が悪化し情報処理に悪影響を及ぼす可能性がある。また、容易な検出を追求するほどその形状を単純化することになり、マーカーを利用して取得できる情報が限定されやすい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を入力情報とする情報処理において、状況によらず安定的に多様な情報を取得できる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、オブジェクトを撮影した偏光画像からオブジェクト表面の法線ベクトルを取得する法線取得部と、オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、を備えることを特徴とする。

本発明の別の態様は情報処理システムに関する。この情報処理システムは、オブジェクトの偏光画像を撮影する撮像装置と、偏光画像を用いてオブジェクトの状態に応じた情報処理を実施する情報処理装置と、を備え、情報処理装置は、偏光画像からオブジェクト表面の法線ベクトルを取得する法線取得部と、オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、を備えることを特徴とする。

本発明のさらに別の態様は操作用オブジェクトに関する。この操作用オブジェクトは、偏光画像が撮影されることにより情報処理の入力情報として用いられる操作用オブジェクトであって、互いのなす角度が所定値の複数の基準面と、当該複数の基準面に接し、それらに対する角度を前記操作用オブジェクト内で異ならせた特徴面と、を含むことを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は情報処理装置が、オブジェクトを撮影した偏光画像のデータを撮像装置から取得するステップと、当該偏光画像からオブジェクト表面の法線ベクトルを取得するステップと、オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するステップと、オブジェクトに係る所定の情報に基づく処理を行いその結果を外部の装置へ出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を入力情報とする情報処理において、状況によらず安定的に多様な情報を取得できる。

実施の形態１における情報処理システムの構成例を示す図である。実施の形態１における撮像装置が備える撮像素子の構造例を示す図である。実施の形態１における情報処理装置の内部回路構成を示す図である。実施の形態１における情報処理装置の機能ブロックの構成を示す図である。実施の形態１におけるオブジェクトの多面体を例示する図である。実施の形態１においてモデルデータ記憶部に格納される、特徴量の登録データの構造例を示す図である。実施の形態１においてオブジェクト情報取得部がオブジェクトの姿勢および位置を取得する処理を説明するための図である。実施の形態１のオブジェクトとして用いることのできる多面体を例示する図である。実施の形態１のオブジェクトとして用いることのできる多面体を例示する図である。実施の形態１のオブジェクトとして用いることのできる多面体の別の例を示す図である。実施の形態１において特徴面の辺ごとに特徴を与える態様について説明するための図である。実施の形態１において辺ごとに特徴量を与えたときにモデルデータ記憶部に格納される、特徴量の登録データの構造例を示す図である。実施の形態１の情報処理装置が、偏光画像を用いてオブジェクトの情報を取得し、出力データを生成、出力する処理手順を示すフローチャートである。実施の形態２において複数の面のなす角度を直接利用して情報処理を行う手法の例を説明するための図である。

実施の形態１
本実施の形態では、所定形状の多面体を含む立体を、マーカーの機能を有する操作用オブジェクト（以後、単に「オブジェクト」と呼ぶ）とし、面の角度を特徴量として撮影画像から取得することで情報処理に利用する。図１は本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、オブジェクト８と、それを含む被写空間を所定のフレームレートで撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。

情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。

オブジェクト８は、合成樹脂などで形成された立体であり、なす角度が既知の複数の平面からなる多面体８ａを含む。オブジェクト８の内部は、空洞であっても合成樹脂などが充填された状態であってもよい。あるいは、発光ダイオードなどの発光機構や、加速度センサなど姿勢や位置を計測する各種センサの少なくともいずれかを内蔵していてもよい。図示するオブジェクト８は、多面体８ａに、ユーザが把持することを想定したハンドル８ｂを接続した構成としている。ただしオブジェクト８の構成はこれに限らず、多面体８ａのみとして積み木のように直接扱えるようにしてもよいし、別途用意した入力装置に多面体８ａを取り付けた構成としてもよい。

撮像装置１２は、オブジェクト８を含む実空間の偏光画像を所定のレートで撮影する。情報処理装置１０は、多面体を構成する面のうち、像として撮影されている面の法線ベクトルを、偏光画像を利用して取得する。そしてそれらの相対的な角度を特徴量として取得することにより面を識別し、その結果に基づきオブジェクト８自体を識別したり位置や姿勢を特定したりする。情報処理装置１０は特定した結果に対応するように情報処理を実施し、表示画像や音声のデータを生成して表示装置１６に出力する。

オブジェクト８に係る情報に対応させて実施する情報処理の内容は特に限定されない。例えばオブジェクト８をゲームのコントローラとし、ユーザが把持して動かすことでゲームに対する操作がなされるようにしてもよい。この場合、ゲーム世界を表す画像がオブジェクト８の動きに応じて変化したり、ユーザを写した撮影画像上でオブジェクト８が仮想オブジェクトに置換された画像を表示させたりすることができる。

あるいはヘッドマウントディスプレイを装着したユーザが、視線に対応する視野で撮影された画像を見ながら目の前の複数のオブジェクト８を組み立てると、組み立てた結果に対応する仮想オブジェクトが表示画面に出現するような態様も実現できる。さらに、ユーザが床や机に複数のオブジェクト８を置くことで実空間における領域を定義し、情報処理装置１０がそれを認識してゲームのプレイエリアとすることも考えられる。

表示装置１６は、情報処理装置１０が生成したデータを順次取得し、表示画像を表示させたり音声を出力したりする。表示装置１６は液晶ディスプレイ、有機ＥＬディスプレイなど一般的なディスプレイでよく、さらにスピーカーを備えたモニターやテレビ受像器であってもよい。

図２は撮像装置１２が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。

透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。

同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。

各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。

同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の主軸角度とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。

また同一色の偏光画像どうしを演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などにも開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば本実施の形態においてオブジェクトの特徴量は偏光輝度画像を用いて取得できるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは一般的なカメラの前面に主軸角度が変更可能な偏光板を配置した構造としてもよい。

図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図４は情報処理装置１０の機能ブロックの構成を示している。図４に示す各機能ブロックは、ハードウェア的には、図３に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮影画像を利用してオブジェクト８に係る情報を認識するオブジェクト認識部５４、および、オブジェクト８について認識された情報に基づき出力すべきデータを生成する出力データ生成部５６を含む。撮影画像取得部５０は図３の入力部３８、ＣＰＵ２３などで実現され、偏光画像を含む撮影画像のデータを撮像装置１２から所定のレートで取得する。

上述のとおりオブジェクトに係る情報を取得するため、撮影画像取得部５０は少なくとも偏光画像を取得するが、情報処理装置１０が実施する情報処理の内容や表示すべき画像によって、無偏光（自然光）の画像データをさらに取得してよい。画像データ記憶部５２はメインメモリ２６で実現され、撮影画像取得部５０が取得した撮影画像のデータを順次格納する。このとき撮影画像取得部５０は必要に応じて、カラー画像から輝度画像を生成するなど、後段の処理に必要な画像データも生成して格納する。

オブジェクト認識部５４はＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納された画像データを用いてオブジェクトに係る必要な情報を取得する。ここで最終的に取得する情報は情報処理装置１０の使用目的によって様々であり、例えば撮像装置１２の視野内にあるオブジェクト８を検出したり識別したりするのみでもよいし、その位置や姿勢を特定するのでもよい。

より詳細にはオブジェクト認識部５４は、法線取得部６０、特徴量照合部６２、モデルデータ記憶部６４、およびオブジェクト情報取得部６６を含む。法線取得部６０は、偏光画像に写るオブジェクトの法線ベクトルを取得する。偏光強度の方位に対する振る舞いが被写体からの光の反射角度に依存することを利用して、偏光子の角度変化に対する偏光画像の輝度の変化に基づき被写体表面の法線を求める手法は一般的に知られている。本実施の形態では色や材質が既知のオブジェクトを利用することにより、計算に用いるモデルを適切に選択し、法線ベクトルを精度よく求めることができる。

法線取得部６０は法線ベクトルの算出に先立ち、偏光画像上、オブジェクトが写る領域を抽出することにより、法線ベクトルを算出する領域を限定してもよい。例えばオブジェクトのおよその形状を登録しておき、一般的なテンプレートマッチングにより領域を抽出してもよい。撮影画像としてカラー画像を取得した場合は、色の情報も利用できる。あるいは、３次元の実空間のうち所定範囲にある物を奥行き画像から特定し、その像を含む領域を抽出してもよい。

ここで奥行き画像は、被写体の撮像面からの距離を、撮影画像における画素値として表した画像である。奥行き画像は例えば、既知の間隔を有する左右の視点から被写空間を撮影するステレオカメラを撮像装置１２に設け、撮影されたステレオ画像における対応点の視差から、各像が表す物の距離を三角測量の原理に基づき算出することによって得られる。あるいは赤外線などの参照光を被写空間に照射しその反射光を検出する機構を撮像装置１２に設け、ＴＯＦ（Time of Flight）方式で距離を求めてもよい。

撮像装置１２の構成は、最初にオブジェクトが写る領域を抽出するか否か、抽出する場合はその手法によって様々であってよい。例えば奥行き画像を利用する場合、自然光の画像を撮影する一般的なステレオカメラを、図２で示したような撮像素子構造を有する偏光カメラとは別に設けてもよいし、ステレオカメラの一方あるいは双方を偏光カメラとしてもよい。

あるいはユーザがオブジェクト８を把持する態様においては、法線取得部６０は、一般的な顔検出処理により人の頭部の像の領域を特定し、頭部に対する相対的な可動範囲からオブジェクト８の像の領域を抽出してもよい。以前の画像フレームにおけるオブジェクトの認識結果に基づき、その時間変化を加味して現時点での像の領域を推定してもよい。いずれにしろ本実施の形態では、偏光画像を用いて取得した法線ベクトルに基づき、オブジェクトの位置や姿勢についてより詳細な情報を得られるため、ここでの領域抽出は比較的粗い分解能でもよい。領域抽出を実施する場合、それに必要なオブジェクト８の基礎データはモデルデータ記憶部６４に格納しておく。

特徴量照合部６２は、法線取得部６０が取得した法線ベクトルを、多面体８ａに本来与えた面の法線の関係と照合する。識別対象ごとに面の法線の関係が異なるように多面体８ａの形状を決定しておけば、それを特徴量として登録情報と照合することにより、識別対象が一意に定まる。例えば複数のオブジェクトを識別する場合、最も単純には正多面体の面の総数、ひいては隣接する面のなす角度をオブジェクトごとに異ならせることが考えられる。このとき法線取得部６０が算出した、隣接する面の法線ベクトルのなす角度を特徴量として、オブジェクトごとに登録された角度と照合することにより、観測されたオブジェクトを特定することができる。

さらに１つのオブジェクトであっても、隣接する面のなす角度が位置によって異なるような多面体とすれば、当該多面体のうち撮像装置１２の側にある面を、それらの法線ベクトルのなす角度を特徴量として識別できる。モデルデータ記憶部６４には、オブジェクト、面、辺、といった識別対象ごとに与えた特徴量の登録情報を格納しておき、観測された特徴量との照合により一つの識別対象を特定できるようにする。

オブジェクト情報取得部６６は、特徴量照合部６２による照合結果に基づき、オブジェクト８に係る所定の情報を取得し出力する。例えば、特徴量照合部６２が特定した面の識別情報と、その面の法線ベクトルに基づき、オブジェクト８の位置や姿勢を取得する。このとき、多面体８ａの各面に対して得られた法線ベクトル分布を平均化するなどして角度のみから計算を行ってもよいし、あらかじめ準備したオブジェクト８の３次元モデルをフィッティングして観測結果に近い状態を探索し、その結果を利用してもよい。

後者の場合、オブジェクト情報取得部６６は、オブジェクト８を表す３次元モデルを、画像平面に対応するカメラ座標系が設定された仮想的な３次元空間に配置し、法線取得部６０が取得した法線ベクトル分布に適合するように、当該３次元モデルを移動させたり回転させたりして位置や姿勢を調整する。法線ベクトルは、オブジェクト８の像を構成する画素単位で得ることができるため、個々の法線ベクトルのみならずその集合が表す領域の形状も考慮して調整することにより、撮像装置１２とオブジェクト８の位置関係を、仮想空間でより正確に再現できる。

この場合、モデルデータ記憶部６４には、オブジェクト８の３次元モデルのデータも格納しておく。仮想空間における３次元モデルとカメラに係る幾何学的な計算については、一般的なコンピュータグラフィクスの技術を応用できる。複数のオブジェクト８が存在する場合、オブジェクト情報取得部６６は各オブジェクトの識別情報に対応づけて位置や姿勢の情報を生成する。これにより、例えば複数のプレイヤがそれぞれのオブジェクト８を持ってゲームに参加していても、各プレイヤの動きを区別して認識できる。なお複数のオブジェクト候補から撮像装置の視野にあるオブジェクトを識別することで足りる場合は、特定されたオブジェクト８の識別情報を特徴量照合部６２から取得して出力するのみでもよい。

出力データ生成部５６はＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、オブジェクト認識部５４が取得したオブジェクトに係る情報に基づき所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成する。上述したようにここで実施する情報処理の内容は特に限定されない。例えば撮影画像上のオブジェクト８の像の位置に、仮想オブジェクトを描画する場合、出力データ生成部５６は画像データ記憶部５２から撮影画像のデータを読み出し、オブジェクト認識部５４が特定したオブジェクトの位置や姿勢に対応するように仮想オブジェクトを描画する。出力データ生成部５６は、そのようにして生成した表示画像などの出力データを表示装置１６に出力する。

図５は、本実施の形態におけるオブジェクトの多面体を例示している。この例の多面体１３０は、立方体の８つの頂点部分を切り取ってなる三角形の断面（例えば面１３２ａ、１３２ｂ、１３２ｃ、１３２ｄ）を含む１４面体である。ここで、元の立方体の６つの面については、互いに直交するという拘束条件がある一方、三角形の断面には、それらと直交しない範囲で任意の傾斜を与えることができる。これを利用し、元の立方体の６つの面を基準とし、それらに対する傾斜によって三角形の断面ごとに特徴を表す。

以後、立方体の６面のように、互いのなす角度が既知の定数である基準となる面を基準面、三角形の断面のように傾斜が可変でありそれによって特徴を表す面を特徴面と呼ぶ。なお後述するように、基準面同士のなす角度や特徴面の形状には様々な変形例が考えられる。図５で示した多面体１３０の場合、特徴面に隣接する３つの基準面の法線を基準の座標軸として、固体物理学の分野で用いられるミラー指数を用いると、特徴面の面方位を例えば（１１１）、（１１２）、（１２２）、（１２３）、（１３３）、（２３３）、（１３４）、（２３４）の８通りとすることが考えられる。

このように全ての特徴面の方位を異ならせ、その法線ベクトルと基準面の法線ベクトルを比較することにより、撮影画像上での像が多面体における特徴面のいずれを表しているかを特定できる。具体的には、例えば図のような視野で撮影画像が得られた場合、法線取得部６０によって矢印に示すような法線ベクトルが取得される。すると特徴量照合部６２は、まず直交関係を有する基準面の法線ベクトルＮ_１、Ｎ_２、Ｎ_３を抽出する。次にそれらの法線ベクトルが取得される像、すなわち基準面の像に囲まれた領域において、別の角度を有する法線ベクトルＮ_０を抽出する。

そして同図右側に抜き出して示したように、基準面の法線ベクトルＮ_１、Ｎ_２、Ｎ_３の平均ベクトルＮ_ａ＝（Ｎ_１＋Ｎ_２＋Ｎ_３）／３と、特徴面の法線ベクトルＮ_０とのなす角度θを特徴角度として求める。なお平均ベクトルＮ_ａは、ミラー指数（１１１）の面の法線ベクトルに対応するため、特徴面の方位が（１１１）であれば特徴角度θ＝０となる。特徴面の方位を上記のように異ならせれば、特徴面ごとに特徴角度θが異なることになり、結果として特徴面１３２ｂが一意に定まる。

図６は、モデルデータ記憶部６４に格納される、特徴量の登録データの構造例を示している。特徴角度データ３００は、面ＩＤ欄３０２および特徴角度欄３０４を含む。面ＩＤ欄３０２は、多面体に形成された特徴面に、その位置を表すような所定の規則で与えた識別情報を格納する。同図の場合、８つの特徴面に対し「Ｃ_１」〜「Ｃ_８」なる識別情報が与えられているが、形成する特徴面の数によってエントリー数は異なる。多面体における位置と識別情報の番号との関係は別途定義されているものとする。

特徴角度欄３０４は、各特徴面の特徴角度θを格納する。同図では「θ_１」〜「θ_８」なる表記としているが実際には角度を数値で設定する。また、上述の平均ベクトルＮａを基準とした方位角と天頂角の組などで表してもよい。特徴量照合部６２は上述のように、撮影画像から得られた法線ベクトルのうち３つの基準面とそれに囲まれた特徴面の法線ベクトルを抽出し、その特徴角度を算出したうえ、特徴角度データ３００を参照して当該特徴面の識別情報を取得する。

特徴角度データ３００は、１つの形状の多面体に対し１つ作成しておく。換言すれば複数のプレイヤが把持するオブジェクト８を区別するために、複数通りの形状で多面体８ａを準備する場合は、特徴角度が重複しないように形成し、その形状ごとに特徴角度データ３００を作成する。ただし色など形状以外の属性でオブジェクト８を区別する場合はこの限りではない。また形状によって区別する場合であっても、特徴角度以外の属性を別途導入してもよい。

例えば図５で基準とした立方体の代わりに直方体を基準とし、その３軸の辺の長さの比を異ならせることにより互いを区別できるようにしてもよい。直方体以外でも、基準面の辺の長さが異なるような形状であれば、少なくともいずれかの面の辺の比に基づきオブジェクトを区別できる。

この場合、図６で示した特徴角度データ３００に、当該多面体の辺の長さの比の情報を紐付けておくとともに、各特徴面の位置と辺との関係を考慮して特徴面の識別情報を決定する。辺の長さの比でオブジェクト８を区別する場合、その形状によっては特徴角度の少なくとも一部を重複させてもよい。モデルデータ記憶部６４にはこのほか、多面体の色や材質を格納しておき、法線取得部６０が偏光画像から法線ベクトルを算出する際のモデルの選択や、像の抽出、オブジェクト８の区別などに適宜用いてもよい。

図７は、オブジェクト情報取得部６６がオブジェクト８の姿勢および位置を取得する処理を説明するための図である。同図は撮像装置１２と多面体１４０を側面から見た様子を示している。図５を参照して説明したようにして、８つある特徴面（例えばＣ_１、Ｃ_２）のうち、撮像装置１２側に向いている特徴面Ｃ_１が特徴角度によって一意に求められる。さらにその特徴面Ｃ_１の法線ベクトルＮ_０は３次元の実空間に対し求められているため、それに合致するような多面体の姿勢は一意に定まる。

図示する例では概念上、多面体に元来与えたモデル形状１４４を、観測された特徴面Ｃ_１およびその法線ベクトルＮ_０にフィッティングさせる様子を白抜き矢印で示しているが、実際には角度計算のみから姿勢を求めてもよい。あるいはより詳細に、画素単位で得られる法線ベクトルの分布を考慮し、差が最小となるモデル形状１４４を探索することにより位置や姿勢を求めてもよい。なお同図は、視野の縦方向を表すＹ軸と撮像面からの距離を表すＺ軸による２次元空間を示しているが、当然、視野の横方向をあらわす軸（Ｘ軸）方向も演算対象とする。

また、特徴面Ｃ_１の形状およびサイズも既知であることから、その見かけの大きさに基づき、撮像面から多面体までの距離を求めることができる。具体的には、同図のような２次元平面において、特徴面Ｃ_１の法線Ｎ_０と撮像装置１２の光軸Ｏとのなす角度をφ、特徴面Ｃ_１の実際のサイズ（長さ）をＳ_１とすると、多面体１４０の撮像面からの距離ｚは、撮影画像における像のサイズ（長さ）Ｓ_ｉｍから次の式で求められる。
ｚ＝Ｓ_１ｃｏｓφ／Ｓ_ｉｍ

カメラ座標系におけるオブジェクトの像を、求められた距離ｚに従い逆射影することで、オブジェクト８の実空間での位置を算出できる。なお３次元オブジェクトを準備してフィッティングさせる場合は、法線ベクトル分布に対するフィッティングと、撮影画像における像に対するフィッティングとを同時に行うなど、コンピュータグラフィクスの変換式を利用した別の手法を用いることもできる。

オブジェクトに多面体を導入し、撮影画像における像と多面体の面が紐付けられれば、多面体を自由に回転させても、その状態を正確に特定できるため、球形や立方体のマーカーなどと比較し、より多くの情報を取得でき、ひいてはそれを用いた情報処理も多様化できる。また１つの特徴面とそれを囲む基準面が撮影されていれば位置や姿勢を特定できるため、人や他の物でその一部が隠蔽されるなどの状況の変化に対し高い頑健性を有する。

偏光画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９−５８５３３号公報などに開示されており、本実施の形態ではそれを適用してよい。以下、概要を説明する。

まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉ_ｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉ_ｍａｘを与える主軸角度である。

天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θ_ｐｏｌとの関係から当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。ただし上述のとおり、観測された光には鏡面反射成分と拡散反射成分が含まれ、それによって法線ベクトルの算出手法が異なる。そのため好適には、オブジェクト８の材質や色に基づき、鏡面反射と拡散反射のうち適切なモデルを選択する。

図８、図９は本実施の形態のオブジェクト８として用いることのできる多面体を例示している。まず図８の多面体１５２は、図５で示したのと同様、立方体１５０の８つの頂点を切り取り、その三角形の断面を特徴面とした１４面体である。この場合、上述したように、基準面の法線ベクトルＮ_１、Ｎ_２、Ｎ_３の平均ベクトルと、それらの基準面に囲まれた特徴面の法線ベクトルＮ_０とのなす角度から当該特徴面を特定する。

多面体１５６は、正四面体１５４の４つの頂点を切り取り、その三角形の断面を特徴面とした８面体である。この場合も、周囲の３つの基準面に対する角度が異なるように各特徴面を形成することにより、多面体１５２と同様の原理で特徴面を識別できる。すなわち元の正四面体１５４の各面の法線ベクトルのなす角度は既知であるため、まずそのような関係を満たす法線ベクトル（例えば法線ベクトルＮ_１、Ｎ_２、Ｎ_３）を抽出する。そしてそれらの平均ベクトルと、それらが表す基準面に囲まれた特徴面の法線ベクトルＮ_０とのなす角度から当該特徴面を特定できる。なお多面体１５６の姿勢によって、図示するように基準面が２面のみ撮影されている場合は、それらの法線ベクトルＮ_１、Ｎ_２の平均ベクトルと特徴面の法線ベクトルＮ_０とのなす角度を特徴角度としてもよいし、基準面が３面表れるまで特徴角度の取得を中断してもよい。その他の形状についても同様である。

図９の多面体１６０は、正八面体１５８の６つの頂点を切り取り、その四角形の断面を特徴面とした１４面体である。この場合も、周囲の４つの基準面に対する角度が異なるように各特徴面を形成することにより、同様の原理で特徴面を識別できる。すなわち元の正八面体１５８の各面の法線ベクトルのなす角度は既知であるため、まずそのような関係を満たす法線ベクトル（例えば法線ベクトルＮ_１、Ｎ_２、Ｎ_３、Ｎ_４）を抽出する。そしてそれらの平均ベクトルと、それらが表す基準面に囲まれた特徴面の法線ベクトルＮ_０とのなす角度から当該特徴面を特定できる。

多面体１６４は、正十二面体１６２の２０個の頂点を切り取り、その三角形の断面を特徴面とした３２面体である。この場合も、周囲の３つの基準面に対する角度が異なるように各特徴面を形成することにより、同様の原理で特徴面を識別できる。すなわち元の正十二面体１６２の各面の法線ベクトルのなす角度は既知であるため、まずそのような関係を満たす法線ベクトル（例えば法線ベクトルＮ_１、Ｎ_２、Ｎ_３）を抽出する。そしてそれらの平均ベクトルと、それらが表す基準面に囲まれた特徴面の法線ベクトルＮ_０とのなす角度から当該特徴面を特定できる。

なお元となる立体は、それを構成する基準面同士のなす角度が既知であれば、図示するものに限らない。ただし特徴面が均等に配置できること、法線ベクトルの関係から特徴面と基準面の区別が容易であること、などの観点から、図示するような正多面体が好適である。またいずれの多面体でも、姿勢によっては複数の特徴面が同時に撮影される場合がある。

この場合、１つの特徴面を特定するのみでもよいし、同様の計算および照合を全ての特徴面に対し行ってもよい。あるいは周囲の基準面や特徴面自体がどの程度の面積で撮影されているかによって特定処理の信頼性を推定し、所定の信頼性が得られる特徴面のみを処理対象としてもよい。信頼性に応じて、結果の利用に重みや優先順位をつけてもよい。定性的には特定される特徴面の数が多いほど、その情報を統合してオブジェクト全体の位置や姿勢を精度よく求められる。

図１０は、本実施の形態のオブジェクト８として用いることのできる多面体の別の例を示している。この多面体１７０は、図５で示した、立方体の頂点を切り取ってなる多面体１３０からさらに、各辺を含む部分を、それに接する基準面と所定の角度を有するように辺と平行に切り取ってなる８つの面を新たに形成した３２面体である。同図では、面Ａにおける断面に示すように、基準面との角度が１３５°となるように面を形成している。

一般的に偏光画像を用いた法線ベクトルの算出処理では、得られた法線ベクトルの信頼性が低くなるような角度が存在する。具体的には、対象物の法線ベクトルが撮像装置１２の光軸に重なるような状態において、観測される偏光輝度の方位依存性が小さくなるため、法線ベクトルの算出過程においてノイズの影響を受けやすくなる。したがって例えば基準面１７２が撮像装置１２の撮像面に正対するような状態では、その法線ベクトルＮ_２の信頼性が低くなり、ひいては特徴面１７４の特徴角度が正しく得られなかったり、場合によっては特徴面１７４が検出されなかったりすることが考えられる。

そこで上述したように辺の部分を切り取り、基準面の間に中間の角度を有する面を設ける。このようにすると基準面が撮像面に正対している期間は、その周囲の４つの面（例えば面１７６ａ、１７６ｂ）が法線ベクトルの算出に好適な角度となる。したがってそれらの法線ベクトルｎ_１、ｎ_２、・・・を取得して平均することにより、基準面の法線ベクトルＮ_２も精度よく求められる。

結果として、多面体の向きによらず安定的に基準面の法線ベクトルを取得できる。この形状によっても、基準面の法線ベクトルＮ_１、Ｎ_２、Ｎ_３と特徴面１７４の法線ベクトルＮ_０から特徴角度を求め、特徴面を識別する処理は上述したのと同様である。図示する例は立方体を基準としていたが、図８、図９で示した多面体のいずれにおいても、基準面の間に中間の角度を有する面を設けることにより、同様の効果が得られる。

これまで述べた態様は、立方体など基本となる立体に、傾斜角度に特徴を有する特徴面を設け、その周囲の基準面とのなす角度により面単位での識別を実現した。ここでさらに特徴面の傾斜を工夫することにより、特徴面の辺ごとに特徴を与えることもできる。図１１は、特徴面の辺ごとに特徴を与える態様について説明するための図である。この例は図５の多面体１３０と同様の多面体１８０を示しており、同様の処理により基準面の法線ベクトルＮ_１、Ｎ_２、Ｎ_３と、それらに囲まれた特徴面１８２の法線ベクトルＮ_０が得られる。

ここで同図右側に抜き出して示すように、特徴面１８２の法線ベクトルＮ_０と、周囲の３つの基準面の法線ベクトルＮ_１、Ｎ_２、Ｎ_３とのなす角度をそれぞれθ_１、θ_２、θ_３とすると、それらが全て異なるように、さらにそれらの角度が全ての特徴面でも重複しないような傾斜で特徴面を形成する。例えば特徴面に接する３つの基準面の法線を基準の座標軸としたとき、ミラー指数が（１２３）、（１２４）、（１２５）、（１３４）、（１３５）、（１４５）、（２３４）、（２３５）となる面方位で特徴面を形成する。

このようにすると、特徴面とそれに隣接する１つの基準面の法線ベクトルのなす角度から、それらの面の境界にある辺を一意に決定することができる。例えば特徴面１８２の辺Ｅ_１の特徴角度は、法線ベクトルＮ_０と法線ベクトルＮ_１とのなす角度θ_１、辺Ｅ_２の特徴角度は法線ベクトルＮ_０と法線ベクトルＮ_２とのなす角度θ_２、辺Ｅ_２の特徴角度は法線ベクトルＮ_０と法線ベクトルＮ_３とのなす角度θ_３となる。

図１２は、辺ごとに特徴量を与えたときにモデルデータ記憶部６４に格納される、特徴量の登録データの構造例を示している。特徴角度データ３１０は、辺ＩＤ欄３１２および特徴角度欄３１４を含む。辺ＩＤ欄３１２は、特徴面の各辺に、その位置を表すような所定の規則で与えた識別情報を格納する。同図の場合、８つの三角形の特徴面を想定し、合計２４個の辺に対し「Ｅ_１」〜「Ｅ_２４」なる識別情報が与えられている。形成する特徴面の数と形状によってエントリー数は異なる。多面体における特徴面の位置および各特徴面における辺の位置と識別情報の番号との関係は別途定義されているものとする。

特徴角度欄３１４は上述のように、当該辺を挟んで隣り合う特徴面と基準面の法線ベクトルのなす角度を特徴角度として格納する。同図では「θ_１」〜「θ_２４」なる表記としているが実際には角度を数値で設定する。特徴量照合部６２は、撮影画像から得られた法線ベクトルのうち少なくとも１つの基準面と、それに隣接する特徴面の法線ベクトルを抽出し、そのなす角度に基づき特徴角度データ３１０を参照して、それらの面の境界となる辺の識別情報を取得する。１つの辺が識別できれば、それを一辺とする特徴面を特定できるため、図７を参照して説明したのと同様にしてオブジェクト８全体の位置や姿勢を取得できる。

さらに、撮影されている複数の辺について同様の特定処理を行い、位置や姿勢の取得精度を向上させることもできる。この態様では少なくとも２つの面について法線ベクトルが得られればよいため、面に対し特徴角度を与える態様よりさらに、オブジェクトの隠蔽に対する頑健性が高くなる。例えば隣接する２つの領域で、その法線ベクトルのなす角度が、設定された辺の特徴角度θ_１〜θ_２４のいずれかであれば、その領域の境界線が辺Ｅ１〜Ｅ２４のいずれかとして特定できる。

ただし２面のみが撮影されている場合は、法線ベクトルのみから基準面と特徴面を区別することは難しい。したがってそれらの区別を必要とする場合は、撮影画像上の像の形状やサイズから推定してもよいし、より多くの面が撮影されている間に基準面と特徴面の像を特定しておき、その追跡結果を利用して推定してもよい。なお図１１の例は立方体を基準としていたが、図８、図９で示した多面体のいずれであっても、特徴角度により辺を識別する態様は同様に適用できる。

次に、以上述べた構成によって実現される情報処理装置の動作を説明する。図１３は、本実施の形態の情報処理装置１０が、偏光画像を用いてオブジェクト８の情報を取得し、出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０に対しユーザが処理の開始を要求し、それに応じて撮像装置１２がオブジェクト８を含む空間の撮影を開始したときに開始される。

まず撮影画像取得部５０は、撮像装置１２から撮影画像のデータを取得する（Ｓ１０）。当該データには複数の主軸角度に対応する偏光画像のほか、自然光の画像が含まれていてよい。撮像装置１２または情報処理装置１０が、偏光画像同士を演算することにより自然光の画像を作り出すようにしてもよい。また撮像装置１２が加速度センサなど各種センサを内蔵する場合は、その計測結果も取得してよい。

次に法線取得部６０は、偏光画像を用いてオブジェクトの法線ベクトルを取得する（Ｓ１２）。このときまず、撮影画像のうちオブジェクト８の像が表れている領域を、色や形状に基づき自然光の画像または偏光画像から抽出してもよい。次に特徴量照合部６２は、基準面と特徴面の法線ベクトルを、それらの角度の関係に基づき抽出することで、特徴角度を取得する（Ｓ１４）。そして当該特徴角度に基づき、撮影画像に写っている特徴面を特定する（Ｓ１６）。

３つの基準面の法線ベクトルの平均と、それらが囲む特徴面の法線ベクトルとのなす角度を特徴角度とした場合、特徴面が直接求められる。特徴面と、隣接する基準面の法線ベクトルのなす角度を特徴角度とした場合、それらの面の境界の辺を特定することにより特徴面が求められる。オブジェクト情報取得部６６は、特定された特徴面に基づき、オブジェクト８に係る情報を生成する（Ｓ１８）。例えば特定した特徴面の法線ベクトルや撮影画像上の像に基づきオブジェクト８の位置や姿勢を取得する。

このとき、後段の処理に要求される精度によって、角度やサイズの数値計算のみからそれらの情報を取得してもよいし、法線ベクトル分布や撮影画像上の像の形状に適合するように、仮想空間における３次元オブジェクトの位置や姿勢を調整するようにしてもよい。またオブジェクト８が内蔵するセンサからその位置や姿勢の情報が得られる場合は、その情報と統合することにより精度を向上させてもよい。ステレオカメラなどによって奥行き画像が得られる場合はそれが表す位置情報と統合してもよい。複数のオブジェクトが存在する場合、オブジェクトごとに位置や姿勢の情報を生成し、それをオブジェクトの識別情報に対応づける。

出力データ生成部５６は当該情報を取得し、それに基づきゲームを進捗させたり撮影画像上に仮想オブジェクトを描画したりして、表示画像や音声の出力データを生成し、表示装置１６に出力する（Ｓ２０）。ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ２２のＮ）、後続の画像フレームに対しＳ１０〜Ｓ２０の処理を繰り返す。この際、前の画像フレームに対し得られた情報を利用して処理対象の領域を限定するなど効率化を図ってもよい。これらの処理により、対象物の動きに応じたゲーム画面や情報処理の結果が動画として表示される。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ２２のＹ）。

以上述べた本実施の形態によれば、互いのなす角度が既知の基準面と、それらとの角度に特徴を持たせた特徴面を含む多面体を操作用オブジェクトとして入力手段に用いる。具体的には、操作用オブジェクトを撮影した偏光画像から法線ベクトルを算出し、基準面の法線ベクトルとの関係を特徴量とすることにより、撮影画像に写る特徴面を一意に特定する。特徴面が特定されれば、例えば法線ベクトルとの関係からオブジェクト全体の位置や姿勢を取得できる。つまり球形など単純形状のマーカーと比較し、より多くの情報を取得できる。

また、いずれかの特徴面とその周囲の基準面が写っていれば特定処理が可能なため、操作用オブジェクトが撮像装置の視野からはみ出したり他の人や物により隠蔽されたりする状況の変化に対しても、安定的な情報処理が可能となる。さらに、法線ベクトルは偏光画像の画素単位で得られるため、法線ベクトルの集合体として面を捉えられ、特徴面や基準面を精度よく検出できる。

例えば操作用オブジェクトが撮像装置から離れ、見かけ上のサイズが小さくなっても面の検出精度を維持しやすい。このため、色など形状以外の属性への依存度を小さくでき、発光させて目立たせるなどの措置の必要性が小さくなる。結果として、操作用オブジェクトの製造コストや消費電力を抑えることも可能である。

実施の形態２
実施の形態１では、複数の面のなす角度に初めから特徴を与えた個体のオブジェクトを対象として、法線ベクトルに基づき観測された角度を登録データと照合することによりオブジェクトの状態を取得して情報処理に利用した。本実施の形態では、複数の面のなす角度を直接、入力情報として情報処理に利用する。具体的には一部の部位の角度が可変のコントローラを操作用オブジェクトとして導入し、観測された角度に応じた処理を行う。

図１４は本実施の形態において複数の面のなす角度を直接利用して情報処理を行う手法の例を説明するための図である。この例ではジョイスティックを含むコントローラを用い、その角度変化に基づきユーザ操作の内容を解釈して情報処理を実施する。コントローラ２００は、所定厚さの平板型の筐体に、任意の方向に傾倒可能なジョイスティック２０２と、複数のボタン２０４を備える。ただしジョイスティック２０２以外の操作手段や、それらのレイアウト、筐体の形状は図示するものに限らない。コントローラ２００がジョイスティック２０２のみを備えてもよい。

ジョイスティックは、一般的にはコントローラ内部に設けたセンサや各種回路により傾倒方向、傾倒量を取得し、対応する方向および量で画面をスクロールさせたり表示されたオブジェクトを動かしたりするのに用いられる。本実施の形態ではジョイスティック２０２の傾倒方向、傾倒量を、コントローラ２００を撮影した偏光画像から得られる法線ベクトルを用いて取得する。したがってコントローラ２００の内部にジョイスティックのための回路等を設けることなく、操作に応じた情報処理を実現できる。なおコントローラ２００にボタン２０４を設ける場合、その回路構成は一般的なコントローラと同様でよい。

同図において（ａ）は、ジョイスティック２０２が中立した状態を示している。この場合、コントローラ２００の筐体上面の法線ベクトルＮ_１と、ジョイスティック２０２の上面の法線ベクトルＮ_０は平行となる。一方、（ｂ）は、ジョイスティック２０２が傾倒した状態を示している。この場合、ジョイスティック２０２の上面の法線ベクトルＮ_０は、コントローラ２００の筐体上面の法線ベクトルＮ_１に対し角度θの傾きを有する。なお実際には角度θは方位角、天頂角の２成分で得られ、それぞれ傾倒方向と傾倒角度に対応する。

ジョイスティック２０２に対する操作時は、ユーザの指がその上面に置かれていることが考えられるが、この場合、指の上面がジョイスティック２０２の上面と略平行の状態を保ったまま連動することを考慮すれば、指の有無に関わらず同様に角度を特定できる。法線ベクトルＮ_１、Ｎ_０の関係は、実施の形態１の基準面、特徴面の法線ベクトルの関係と同様であり、偏光画像からそれらのベクトルを取得する手法も同様でよい。具体的には、まずサイズが大きく形状が明確な筐体上面について法線ベクトル集合を取得し、それを平均するなどして法線ベクトルＮ_１を取得する。

次に、筐体上面における位置情報からジョイスティック２０２の像を特定し、その上面の領域に対し得られる法線ベクトル集合を平均するなどして法線ベクトルＮ_０を取得する。そしてそれらのなす角度を監視することにより、傾倒方向、傾倒角度を逐次取得し、それに応じた情報処理を実施する。

本実施の形態の情報処理装置は、実施の形態１の情報処理装置１０のうち、特徴量照合部６２が特徴角度の代わりにジョイスティック２０２と筐体上面の角度を取得してオブジェクト情報取得部６６に供給すればよく、登録情報との照合は省略できる。この場合、出力データ生成部５６は、一般的なジョイスティックに対する操作がなされたときと同様に、傾倒方向や傾倒角度を取得してそれに基づく処理を行えばよい。

以上述べた本実施の形態によれば、角度が可変の部位を有するコントローラを撮影した偏光画像から法線ベクトルを算出し、基準となる筐体などの面とのなす角の変化を逐次取得して情報処理の入力情報とする。２つの面の相対的な角度の変化を利用することにより、コントローラがどのような姿勢であっても、可変部位の角度の変化を正確に取得でき、ユーザの操作内容を精度よく特定できる。

したがって一見、一般的なジョイスティックの様相であっても、内部に回路や電源などを備えずに機能させることができる。なお本実施の形態は、角度が可変の少なくとも２つの面を有するオブジェクトであれば同様に処理が可能なため、その形状はジョイスティックに限らない。またレバースイッチのように傾倒方向が限定されていてもよい。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８オブジェクト、１０情報処理装置、１２撮像装置、１６表示装置、２３ＣＰＵ、２４ＧＰＵ、２６メインメモリ、５０撮影画像取得部、５２画像データ記憶部、５４オブジェクト認識部、５６出力データ生成部、６０法線取得部、６２特徴量照合部、６４モデルデータ記憶部、６６オブジェクト情報取得部。

Claims

オブジェクトを撮影した偏光画像からオブジェクト表面の法線ベクトルを取得する法線取得部と、
前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、
前記オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、
を備えることを特徴とする情報処理装置。
前記法線ベクトルの角度の関係を特徴量として登録データと照合することにより、前記複数の面のうち前記偏光画像に写る少なくともいずれかの面を特定する特徴量照合部をさらに備え、
前記オブジェクト情報取得部は、特定された面の情報を利用して、前記オブジェクトに係る情報を取得することを特徴とする請求項１に記載の情報処理装置。
前記特徴量照合部は、互いのなす角度が所定値の複数の基準面の法線ベクトルと、当該複数の基準面に接し、それらに対する角度を前記オブジェクト内で異ならせた特徴面の法線ベクトルとの角度の関係を前記特徴量として取得することにより、前記偏光画像に写る前記特徴面を特定することを特徴とする請求項２に記載の情報処理装置。
前記特徴量照合部は、複数の前記基準面の法線ベクトルの平均と、それらの基準面に接する前記特徴面の法線ベクトルとのなす角度を前記特徴量として取得することを特徴とする請求項３に記載の情報処理装置。
前記特徴量照合部は、接する前記基準面ごとに、当該基準面に対する角度が異なる特徴面の法線ベクトルと、当該特徴面に接する一つの前記基準面の法線ベクトルとのなす角度を前記特徴量としてその境界の辺を特定することにより、前記特徴面を特定することを特徴とする請求項３に記載の情報処理装置。
前記特徴量照合部はさらに、前記複数の面の少なくともいずれかの辺の比を取得し、登録データと照合することにより、前記偏光画像に写る前記オブジェクトを特定することを特徴とする請求項２から５のいずれかに記載の情報処理装置。
前記特徴量照合部は、前記基準面の周囲に設けた、当該基準面と所定の角度を有する面の法線ベクトルに基づき、当該基準面の法線ベクトルを取得することを特徴とする請求項３から５のいずれかに記載の情報処理装置。
前記オブジェクト情報取得部は、特定された面とその法線ベクトルに基づき、前記オブジェクトの姿勢を取得することを特徴とする請求項２から７のいずれかに記載の情報処理装置。
前記オブジェクト情報取得部は、特定された面とその法線ベクトルから算出される見かけ上のサイズと、撮影された像のサイズとの比較に基づき、前記オブジェクトの撮像装置からの距離を取得することを特徴とする請求項２から８のいずれかに記載の情報処理装置。
オブジェクトの偏光画像を撮影する撮像装置と、
前記偏光画像を用いて前記オブジェクトの状態に応じた情報処理を実施する情報処理装置と、
を備え、
前記情報処理装置は、
前記偏光画像から前記オブジェクト表面の法線ベクトルを取得する法線取得部と、
前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するオブジェクト情報取得部と、
前記オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する出力データ生成部と、
を備えることを特徴とする情報処理システム。
偏光画像が撮影されることにより情報処理の入力情報として用いられる操作用オブジェクトであって、
互いのなす角度が所定値の複数の基準面と、
当該複数の基準面に接し、それらに対する角度を前記操作用オブジェクト内で異ならせた特徴面と、
を含むことを特徴とする操作用オブジェクト。
前記特徴面はさらに、接する前記基準面ごとに、当該基準面に対する角度が異なることを特徴とする請求項１１に記載の操作用オブジェクト。
オブジェクトを撮影した偏光画像のデータを撮像装置から取得するステップと、
当該偏光画像からオブジェクト表面の法線ベクトルを取得するステップと、
前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得するステップと、
前記オブジェクトに係る所定の情報に基づく処理を行いその結果を外部の装置へ出力するステップと、
を含むことを特徴とする情報処理装置による情報処理方法。
オブジェクトを撮影した偏光画像からオブジェクト表面の法線ベクトルを取得する機能と、
前記オブジェクトに含まれる複数の面の法線ベクトルの角度の関係に基づく、前記オブジェクトに係る所定の情報を取得する機能と、
前記オブジェクトに係る所定の情報に基づく処理を行いその結果を出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。