JP2010249907A - 撮影装置および撮像方法 - Google Patents

Abstract

【課題】人の視点と同一の視点からの映像を取得することができる技術を提供する。
【解決手段】人の眼前にハーフミラーとカメラを配置する。ハーフミラーは、人の視線に沿って且つ人の視線に対して４５°傾斜して配置する。カメラは、その光軸が、人の視線に対して直交するように配置する。更に、人の眼からハーフミラーまでの距離は、カメラからハーフミラーまでの距離に等しくなるように構成する。人がハーフミラーを介して前方の観察対象を見るとき、カメラは人の眼によって見られている観察対象と同一の映像を得ることができる。
【選択図】図１

Description

本発明は、カメラを用いた撮像方法及び撮像装置に関し、特に、人の視野と同一の映像を撮影する装置及び方法に関する。

従来、人の視線方向を検出する技術や、観測された視線の向きを応用する技術は数多く存在する。例えば、特許文献１に記載されている。これらの技術は、ユーザ・インタフェースを提供する目的や、ユーザの行動・認知などを解析するための目的で、様々な分野で幅広く応用されている。これらの技術が用いられる際に、視線方向だけではなく、そのユーザが見ている像と同一の映像を同時に取得することへの需要が存在する。

人が見ている像と同一の映像を得るには、人の眼と同じ位置にカメラを配置すればよい。しかしながら、人の眼と同じ位置にカメラを配置することは不可能である。また、人の視野を妨げずに眼の前にカメラを配置することも不可能である。眼の横や上、あるいは額などのように、視野を妨げない範囲で、眼の近傍にカメラを配置することはできる。このようなカメラによって撮影した映像によって、人の視点からの像を代替することはできる。

しかしながら、人の視点と異なる位置にカメラを配置すると、人の視野とは異なる映像しか得られない。例えば、映像における観察対象の位置は、人が実際に見た視界における観察対象の位置より偏奇する。この偏奇量は、視点から観察対象までの距離によって異なり、視点から観察対象までの距離が近いほど大きい。したがって、例えば遠景を見ている場合には観察対象の位置の偏奇量は小さいが、机の上や手に持ったものなど、視点からの距離が比較的近い対象を見ている場合には、映像中の観察対象の位置の偏奇量は大きなものとなる。言い換えると、人の視点とは異なる視点からの映像では、近くの物体を撮影した場合には実際の視野と大きく異なる映像しか得られない。

特開２００１−１９５６０１号公報

"角膜における屈折を考慮した３次元眼運動計測"、坂下祐輔、 藤吉弘亘、 平田豊 第１３回画像センシングシンポジウム講演論文集 SSII07、 IN2-25、 2007。 "A flexible new technique for camera calibration", Z. Zhang, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22、 Issue:11, pp。1330-1334、 Nov 2000、 ISSN:0162-8828

カメラによる映像と人が実際に見た視野の間のずれを小さくするには、カメラを人の目にできるだけ近い位置に配置すればよい。しかしながら、カメラを人の目の近くに配置するには、限界がある。即ち、従来、人の視点と同一の視点からの映像を得ることはできなかった。

本発明の目的は、人の視点と同一の視点からの映像を取得することができる技術を提供することにある。

本発明によると、人の眼前にハーフミラーとカメラを配置する。ハーフミラーは、人の視線に沿って且つ人の視線に対して４５°傾斜して配置する。カメラは、その光軸が、人の視線に対して直交するように配置する。更に、人の眼からハーフミラーまでの距離は、カメラからハーフミラーまでの距離に等しくなるように構成する。

人がハーフミラーを介して前方の観察対象を見るとき、カメラは人の眼によって見られている観察対象と同一の映像を得ることができる。

本発明によると、人の視点と同一の視点からの映像を取得することができる。

本発明による撮像方法の例を説明するための図である。 本発明による撮像装置の第１の例の構成を説明する図である。 本発明による撮像装置の第２の例の構成を説明する図である。 本発明による撮像装置の第３の例の構成を説明する図である。

図１を参照して、本発明による撮像方法を説明する。本発明によると、人の眼１の前にハーフミラー１１を配置し、ハーフミラー１１の下方にカメラ２１を配置する。眼１の前方に観察対象２が配置されている。ハーフミラー１１は、視線３に対して４５°傾斜して配置されている。カメラ２１の光軸２１ａが視線３に対して直交するように、カメラ２１は配置されている。視線３がハーフミラー１１と交差する点４と、カメラ２１の光軸２１ａがハーフミラー１１と交差する点は一致するものとする。

眼１から交点４までの距離を、眼１とハーフミラー１１の間の距離Ｌ１とする。カメラ２１から交点４までの距離を、カメラ２１とハーフミラー１１の間の距離Ｌ２とする。本発明によると、両距離は同一である。即ち、Ｌ１＝Ｌ２である。

一般に、眼の前にハーフミラーを配置し、「ハーフミラーの手前が明るく、ハーフミラーの後側が暗い」場合には、眼には、手前の光が反射して見え、逆に「ハーフミラーの手前が暗く、ハーフミラーの後側が明るい」場合には、眼には、ハーフミラーの向こう側からの光が透過して見える。従って、本例によると、ハーフミラーの手前の空間５は比較的暗く、ハーフミラーの向こう側の空間６は比較的明るくする。この場合、眼１から見ると、ハーフミラーの手前の空間５は比較的暗く、ハーフミラーの向こう側の空間６は比較的明るいから、観察対象２を見ることができる。カメラ２１から見ると、ハーフミラーの手前の空間６は比較的明るく、ハーフミラーの向こう側の空間５は比較的暗い。従って、カメラ２１によって観察対象２を撮像することができる。

尚、本例の撮像方法では、両眼用に１対のハーフミラー１１及び１対のカメラ２１を使用してもよいが、両眼に共通の１個のハーフミラー１１及び１個のカメラ２１を使用してもよい。

図２を参照して、本発明による撮像装置の第１の例を説明する。本例の撮像装置は、ハーフミラー１１、カメラ２１、及び、支持部材３１を有する。ハーフミラー１１、及び、カメラ２１は、支持部材３１に装着されている。

支持部材３１は、人の頭部に装着可能であり、且つ、人が前方を見ることを妨げないように構成された器具であればどのような構造であってもよい。人の頭部に装着可能な器具として、ゴーグル、ヘルメット等が知られている。支持部材３１を、ゴーグル、又は、ヘルメットと同様な構造に構成してもよいが、支持部材３１を、ゴーグル型装着部材、又は、ヘルメット型装着部材に取り付けてもよい。

支持部材３１を、人の頭部に装着すると、支持部材３１は頭部と共に動く。頭部及び支持部材３１が動いても、視線に対するハーフミラー１１及びカメラ２１の相対的な位置は変化しない。

図１に示した、視線に対するハーフミラー１１及びカメラ２１の相対的な位置関係は、本例でも維持される。即ち、ハーフミラー１１は、視線に対して４５°傾斜して配置されている。カメラ２１は、その光軸が視線に対して直交するように、配置されている。眼１からハーフミラー１１までの距離Ｌ１と、カメラ２１からハーフミラー１１までの距離Ｌ２は等しい。

本例の撮像装置では、ハーフミラー１１は支持部材３１によって覆われている。支持部材３１の内部のうち、眼１とハーフミラー１１の間の空間３２は比較的暗いが、ハーフミラー１１の外側の空間３３は比較的明るい。従って、人の眼１からハーフミラー１１を見ると、「ハーフミラーの手前が暗く、ハーフミラーの後側が明るい」という条件になる。従って、眼１によって観察対象２を見ることができる。一方、カメラ２１からハーフミラー１１を見ると、「ハーフミラーの手前が明るく、ハーフミラーの後側が暗い」という条件になる。従って、カメラ２１は、観察対象２を撮像することができる。

観察対象２からの光１０１は、ハーフミラー１１に到達する。この光１０１の一部１０２は、ハーフミラー１１を透過し、眼１に到達する。残りの部分１０３は、ハーフミラー１１を反射し、カメラ２１に到達する。従って、カメラ２１は、眼１によって見える観察対象２の像と同一の映像を得ることができる。

本例の撮像装置では、ハーフミラー１１及びカメラ２１の位置は調整可能であるように構成されてよい。

図３を参照して本発明の撮像装置の第２の例を説明する。本例の撮像装置は、ハーフミラー１１、可視光カメラ２１、赤外光ミラー１２、赤外線カメラ２２、赤外光源２３、及び、支持部材３１を有する。ハーフミラー１１、可視光カメラ２１、赤外光ミラー１２、赤外線カメラ２２、及び、赤外光源２３は支持部材３１に装着されている。本例の撮像装置では、赤外光ミラー１２、赤外線カメラ２２、及び、赤外光源２３を設け、眼の像を取得する。赤外光源２３は赤外光を発生する。赤外光ミラー１２は、赤外光線を反射させるが、可視光を透過させる。赤外線カメラ２２は赤外線光による像を生成する。赤外線カメラ２２のシャッタは可視光カメラ２１のシャッタと同期的に作動するように構成されている。赤外光源２３によって発生した赤外光は、赤外光ミラー１２を反射し、進路を９０度変更して、眼１を照射する。赤外線カメラ２２は、赤外光ミラー１２による反射像として、眼１の像を撮像する。眼の像から、視線方向を検出することができる。

図示の例では、赤外光ミラー１２は、ハーフミラー１１の上に重ね合わせるように配置され、赤外線カメラ２２は、可視光カメラ２１と反対側に配置されている。しかしながら、赤外光ミラー１２と赤外線カメラ２２は、人の視界を遮ることなく、眼の像を取得することができるなら、どのような位置に設けてもよい。

本例の撮像装置でも、図１に示した、視線に対するハーフミラー１１及びカメラ２１の相対的な位置関係は、維持される。即ち、ハーフミラー１１は、視線に対して４５°傾斜して配置されている。カメラ２１は、その光軸が視線に対して直交するように、配置されている。眼１からハーフミラー１１までの距離Ｌ１と、カメラ２１からハーフミラー１１までの距離Ｌ２は等しい。

ハーフミラー１１及びカメラ２１の機能は、図２の撮像装置の第１の例のハーフミラー１１及びカメラ２１の機能と同一である。即ち、可視光に関しては、支持部材３１の内部のうち、眼１とハーフミラー１１の間の空間３２は比較的暗いが、ハーフミラー１１の外側の空間３３は比較的明るい。従って、眼１によって観察対象２を見ることができ、一方、カメラ２１によって、観察対象２を撮像することができる。即ち、カメラ２１は、眼１によって見える観察対象２の像と同一の映像を得ることができる。

本例の撮像装置では、カメラ２１によって、眼１によって見える観察対象２の像と同一の映像を得ると同時に、赤外線カメラ２２によって、眼１の像を撮像する。即ち、カメラ２１による観察対象２の撮像と同期的に、赤外線カメラ２２によって眼１の像を撮像し、視線方向を検出することができる。従って、視線方向とそれに対応する人の眼による像の関係を得ることができる。

図４を参照して本発明の撮像装置の第３の例を説明する。本例の撮像装置は、ハーフミラー１１、赤外光フィルタ１３、可視光カメラ２１、赤外線カメラ２２、赤外光源２３、及び、支持部材３１を有する。ハーフミラー１１、赤外光フィルタ１３、可視光カメラ２１、赤外線カメラ２２、及び、赤外光源２３は、支持部材３１に装着されている。赤外光源２３は赤外光を発生する。赤外光フィルタ１３は、赤外光をカットする。

赤外光源２３によって発生した赤外光は、ハーフミラー１１に到達する。赤外光の一部は、ハーフミラー１１を透過し、残りの部分は、反射する。ハーフミラー１１を透過した赤外光は、赤外光フィルタ１３によってカットされ、カメラ２１に到達しない。ハーフミラー１１を反射した赤外光は、進路を９０度変更して、眼１を照射する。眼１を照射した赤外光は、戻り光としてハーフミラー１１に到達する。戻り赤外光の一部は、ハーフミラー１１を透過し、残りの部分は、反射し、進路を９０度変更して、赤外線カメラ２２に到達する。こうして、赤外線カメラ２２は、ハーフミラー１１による反射像として、眼１の赤外線像を撮像する。

本例の撮像装置でも、図１に示した、視線に対するハーフミラー１１及びカメラ２１の相対的な位置関係は、維持される。即ち、ハーフミラー１１は、視線に対して４５°傾斜して配置されている。カメラ２１は、その光軸が視線に対して直交するように、配置されている。眼１からハーフミラー１１までの距離Ｌ１と、カメラ２１からハーフミラー１１までの距離Ｌ２は等しい。

ハーフミラー１１及びカメラ２１の機能は、図２の撮像装置の第１の例のハーフミラー１１及びカメラ２１の機能と同一である。即ち、可視光に関しては、支持部材３１の内部のうち、眼１とハーフミラー１１の間の空間３２は比較的暗いが、ハーフミラー１１の外側の空間３３は比較的明るい。従って、眼１によって観察対象２を見ることができ、一方、カメラ２１によって、観察対象２を撮像することができる。即ち、カメラ２１は、眼１によって見える観察対象２の像と同一の映像を得ることができる。

以上の例で、単眼について説明したが、実際には、両眼についても上述の例は適用可能である。即ち、両眼に共通の１個の可視光カメラ２１及び１個の赤外線カメラ２２を設けてもよいが、好ましくは、両眼用として、１対の可視光カメラ２１及び１対の赤外線カメラを設ける。更に、上述の例において、両眼に共通の１個のハーフミラー１１、赤外光フィルタ１３及び赤外光源２３を設けてもよいが、両眼用に１対のハーフミラー１１、赤外光フィルタ１３及び１対の赤外光源２３を設けてもよい。

２つの可視光カメラを使用することによって、両眼によって見た観察対象と同一の映像が得られる。また、２つの赤外線カメラによって、両眼の視線の３次元方向を推定することが可能である。このような技術は、既知であり、例えば、非特許文献２に記載されている。

両眼の視線方向を検出する赤外線カメラと両眼の視点映像を撮影する可視光カメラの計４台のカメラについて、キャリブレーションを事前あるいは事後に行う。それによって、両眼の視線方向の三次元的な交点として注視点の三次元位置を推定することができる。更に、注視点の三次元位置を人の視点による映像へ投影すると、人の視点からの映像における注視点の位置を獲得することが可能である。

ここに、キャリブレーションとは、カメラの撮影対象となる３次元空間とカメラで撮影された２次元データの間の写像関係を得る処理であり、例えば非特許文献２に記載されているように、既存技術として数多くの方法が存在する。

以上本発明の例を説明したが本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは、当業者によって容易に理解されよう。

１…眼、２…観察対象、３…視線、４…交点、１１…ハーフミラー、１２…赤外光ミラー、１３…赤外光フィルタ、２１…可視光カメラ、２２…赤外線カメラ、２３…赤外光源、３１…支持部材

Claims (13)

1. 人の頭に装着可能な支持部材と、該支持部材に装着されたハーフミラー及びカメラと、を有し、
   前記支持部材を人の頭部に装着したとき、前記ハーフミラーは、前記人の視線に沿って配置され且つ前記人の視線に対して４５°傾斜して配置され、前記カメラの光軸は、前記人の視線に対して直交するように配置され、
   前記人の眼から前記ハーフミラーまでの距離は、前記カメラから前記ハーフミラーまでの距離に等しくなるように構成されており、
   前記支持部材を頭部に装着した人が前記ハーフミラーを介して前方の観察対象を見るとき、前記カメラは前記人の眼によって見られている観察対象と同一の映像を得ることができることを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記カメラは前記人の両眼の各々の眼に対して設けられていることを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、前記支持部材には、更に、赤外線光源と赤外線カメラが設けられており、前記赤外線光源は、前記人の眼に赤外線光を照射し前記赤外線カメラは前記カメラと同期して前記人の眼の赤外線像を撮像することを特徴とする撮像装置。
4. 請求項３記載の撮像装置において、前記支持部材には、更に、赤外光のみを反射する赤外光ミラーが設けられ、前記赤外線カメラは、前記赤外光ミラーの反射像として前記人の眼の赤外線像を撮像することを特徴とする撮像装置。
5. 請求項３記載の撮像装置において、前記支持部材には、更に、赤外光のみを遮断する赤外光フィルタが設けられ、前記赤外線カメラは、前記ハーフミラーの反射像として前記人の眼の赤外線像を撮像し、前記カメラは、前記赤外光フィルタを透過した観察対象の像を撮像することを特徴とする撮像装置。
6. 請求項３記載の撮像装置において、
   前記赤外線カメラは前記人の両眼の各々の眼に対して設けられていることを特徴とする撮像装置。
7. 請求項１記載の撮像装置において、
   前記支持部材は、ゴーグル型又はヘルメット型に構成されていることを特徴とする撮像装置。
8. ハーフミラーを、人の眼前に、前記人の視線に沿って且つ前記人の視線に対して４５°傾斜して配置することと、
   カメラを、該カメラの光軸が前記人の視線に対して直交するように配置することと、
   前記人の眼から前記ハーフミラーまでの距離が、前記カメラから前記ハーフミラーまでの距離に等しくなるように、前記ハーフミラーと前記カメラを配置することと、
   前記人から前記ハーフミラーを見て、前記ハーフミラーの手前の空間を前記ハーフミラーの向こう側の空間より暗くすることと、
   前記人の視線に対する前記ハーフミラーと前記カメラの相対的な位置が常に一定となるように、前記ハーフミラーと前記カメラを前記人の頭に固定することと、
   前記カメラによって、前記人の眼によって見られている観察対象と同一の映像を得ることと、
   を含む撮像方法。
9. 請求項８記載の撮像方法において、
   前記カメラは前記人の両眼の各々の眼に対して設けることを特徴とする撮像方法。
10. 請求項８記載の撮像方法において、
    更に、前記人の眼前に、赤外線光源と赤外線カメラを配置することと、
    前記赤外線光源からの赤外線によって、前記人の眼を照射することと、
    前記赤外線カメラによって、前記カメラと同期して前記人の眼の赤外線像を撮像することと、を有することを特徴とする撮像方法。
11. 請求項１０記載の撮像方法において、
    前記人の眼前に赤外光のみを反射する赤外光ミラーを配置することと、
    を有し、
    前記赤外線カメラは、前記赤外光ミラーの反射像として、前記人の眼の赤外線像を撮像することを特徴とする撮像方法。
12. 請求項１０記載の撮像方法において、
    前記カメラの前方に赤外光のみを遮断する赤外光フィルタを設けることと、
    を有し、
    前記赤外線カメラは、前記ハーフミラーの反射像として、前記人の眼の赤外線像を撮像し、前記カメラは、前記赤外光フィルタを透過した観察対象の像を撮像することを特徴とする撮像方法。
13. 請求項１０記載の撮像方法において、
    前記赤外線カメラは前記人の両眼の各々の眼に対して設けることを特徴とする撮像方法。

Images