JP2008011456A

JP2008011456A - 撮像装置

Info

Publication number: JP2008011456A
Application number: JP2006182519A
Authority: JP
Inventors: Takashi Miyoshi; 貴史三由; Akio Kosaka; 明生小坂; Hidekazu Iwaki; 秀和岩城; Kokichi Kenno; 孝吉研野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-06-30
Filing date: 2006-06-30
Publication date: 2008-01-17
Anticipated expiration: 2026-06-30
Also published as: US20090147126A1; JP4845611B2; US8330846B2; WO2008001909A1

Abstract

【課題】カメラの台数を減らしつつ環境画像と眼球画像とを撮像可能な撮像装置を提供すること。
【解決手段】結像光学系（結像レンズ２２）と、結像光学系により結像された被写体像を撮像する撮像素子２７と、撮像素子２７で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する視野分割光学系（第１ミラー２１）とを具備する。
【選択図】図１

Description

本発明は撮像装置に関し、特に、１つの撮像素子で環境画像と眼球画像とを撮像可能な撮像装置に関する。

装着者の正面と眼球の両方を撮影する撮像装置が知られていた。例えば特開２００４−１８１２３３には、眼鏡に眼球撮影カメラを装着して視線、瞳孔径を測定することで画像中の重要領域を決定する画像処理方法が提案されている。
特開２００４−１８１２３３

従来技術は、複数台のカメラを用いてシーン画像と、眼球画像を捉えているため小型軽量化しにくかった。また、人間に常時装着するウェアラブルカメラとして、消費電力が多く、長時間駆動という点について対応することができない。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、カメラの台数を減らしつつ環境画像と眼球画像とを撮像可能な撮像装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様に係る撮像装置は、結像光学系と、前記結像光学系により結像された被写体像を撮像する撮像素子と、前記撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する視野分割光学系と、を具備する。

また、本発明の第２の態様に係る撮像装置は、第１の態様において、前記視野分割光学系は、前記結像光学系の前段に、前記結像光学系に対して所定の傾きを持たせて配置され、前記結像光学系の視野を少なくとも２分する反射ミラーである。

また、本発明の第３の態様に係る撮像装置は、第１または第２の態様において、前記反射ミラーは、負のパワーを持つ光学系からなる。

また、本発明の第４の態様に係る撮像装置は、第３の態様において、前記反射ミラーは、凸面ミラーである。

また、本発明の第５の態様に係る撮像装置は、第３の態様において、前記反射ミラーは、凹屈折面と、少なくとも前記凹屈折面よりも曲率半径の大きい反射面とを持つ透過反射型のミラーレンズである。

また、本発明の第６の態様に係る撮像装置は、第１または第２の態様において、前記反射ミラーは、正のパワーを持つ光学系からなる。

また、本発明の第７の態様に係る撮像装置は、第６の態様において、前記反射ミラーは凹面ミラーである。

また、本発明の第８の態様に係る撮像装置は、第６の態様において、前記反射ミラーは、凸屈折面と、少なくとも前記凸屈折面よりも曲率半径の小さい反射面とを持つ透過反射型のミラーレンズである。

また、本発明の第９の態様に係る撮像装置は、結像光学系と、前記結像光学系により結像された被写体像を撮像する撮像素子と、前記撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する視野分割光学系と、前記視野分割光学系により分割された視野により、眼球正面から撮像するための屈曲光学系と、を具備する。

また、本発明の第１０の態様に係る撮像装置は、第９の態様において、前記視野分割光学系は、前記結像光学系の前段に、前記結像光学系に対して所定の傾きを持たせて配置され、前記結像光学系の視野を少なくとも２分する反射ミラーであり、前記屈曲光学系は、前記２分された視野をさらに所定角度屈曲させる反射ミラーである。

また、本発明の第１１の態様に係る撮像装置は、第１の結像光学系と、前記第１の結像光学系により結像された被写体像を撮像する第１の撮像素子と、前記第１の撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する第１の視野分割光学系と、具備する第１の撮像装置と、第２の結像光学系と、前記第２の結像光学系により結像された被写体像を撮像する第２の撮像素子と、前記第２の撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する第２の視野分割光学系と、を具備する第２の撮像装置と、から構成され、前記第１の撮像装置と第２の撮像装置とは互いに一方が他方を撮像可能なように対向して配置されている。

また、本発明の第１２の態様に係る撮像装置は、第１１の態様において、前記第１の撮像装置および第２の撮像装置の少なくともいずれか一方には、前記第１の撮像装置と第２の撮像装置間の位置変動を検出するためのマーカーが設置されている。

本発明によれば、カメラの台数を減らしつつ環境画像と眼球画像とを撮像可能な撮像装置を提供することができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。ここでは本発明の撮像装置を眼球撮影機能付き頭部装着カメラに適用した場合について説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る頭部装着カメラの水平断面図である。第１実施形態の頭部装着カメラは、眼鏡状の左右の装着用治具２９のうち、左側の装着用治具２９のつるの部分に配置された撮像素子２７と、撮像素子２７上に結像するように設けられた結像レンズ２２と、結像レンズ２２に対して３０°から６０°の範囲の角度望ましくは４５°で眼球を側方から捉えられる位置に設けられ、結像レンズ２２の画角の略半分の光線を反射する凸面反射ミラー（第１ミラー）２１とを具備する。さらに撮像素子２７の前段にはローパス／赤外カットフィルタ２３が配置されている。また、眼鏡状のため、装着用治具２９には、装着用治具レンズ２５が取り付けられており、図示せぬ鼻あてなどにより、顔面に安定して装着可能である。図２は、図１の一部を拡大して示す図である。また、図３は、撮像素子２７により撮像される撮像イメージ図であり、左側は眼球撮像側視野２０による画像であり、右側は環境撮像側視野２４による画像である。

図４は、撮像素子２７からの撮像信号から画像を生成する画像処理部１００の構成を示しており、画像エンジン５０と、画像処理装置５１と、眼球画像出力部５２と、環境画像出力部５３と、を備えている。

ここでは、上記した結像レンズ２２と、ローパス／赤外カットフィルタ２３と、撮像素子２７と、画像処理部１００とからなる構成をカメラ部として定義する。

次に、上記した構成の作用を説明する。装着用治具２９の正面に存在する被写体像（図示せず）は、結像レンズ２２の視野の略半分により結像されて撮像素子２７により撮像される。このときの撮像画像を環境画像と呼ぶ。このときの撮影範囲を図１、２では、環境撮像側視野２０としている。

一方、結像レンズ２２の視野の残り半分の視野は、第１ミラー２１により、顔面側方から目周囲を撮影するのに用いられ、図１、２では眼球撮像側視野２４と呼ぶ。ここで、第１ミラー２１は画角を拡大するために凸面鏡になっており、クローズアップレンズと同様の効果を持たせ、近接撮影ができるように構成されている。これにより、近接している目の周囲部と、眼鏡正面に離れて存在する被写体との双方に合焦した画像を撮像することができる。

撮像素子２７で撮像された画像は、画像処理部１００の画像エンジン５０に入力されて所定の画像データに変換される。画像処理装置５１は、環境画像及び眼球画像の領域の切り出し、画像回転、拡大縮小などの処理を行う。眼球画像出力部５２及び環境画像出力部５３はそれぞれ所望の画像フォーマットにて眼球画像及び環境画像を出力する。出力された眼球画像は、視線・瞳孔径計測装置に入力される。ここで眼球の半球像から、左右どちらを主に見ているか、目を開けているか閉じているか、などを判定する。一方、出力された環境画像は、物体認識・記憶装置に入力される。

なお、ここでは２つの画像を別個に出力するようにしたが、画像エンジン５０で生成した画像をそのまま出力してもよい。また、ここでは、眼球画像は、視線・瞳孔径計測装置に入力され、環境画像は、物体認識・記憶装置に入力されるようにしたが、無線、有線のネットワークに配信する通信装置に入力するようにしてもよい。

上記した構成によれば、一つの撮像素子により視野画像と眼球画像とを同時に記録することが可能になるので必要なカメラの台数を減らすことができる。すなわち、第１のミラー２１を装着用治具２９のつるの部分に設置して、結像レンズ２２の視野の半分を当該第１のミラー２１で反射させることにより、視野の折り曲げと共に近接撮影を可能とし、これによって顔面、主に眼球近傍を撮影可能としている。同時に、結像レンズ２２の視野の他の半分では装着者の頭部前方の環境画像が撮影される。

なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、図１、２では、眼鏡の近視用レンズ（凹レンズ）を示したが、パワーのないレンズでもよく、また、この部分がＨＭＤ（ヘッドマウントディスプレイ）になっているものでもよい。画像処理部と撮像素子とは無線接続されていてもよい。

図５は、第１実施形態の第１変形例を示しており、凹レンズによる焦点、画角補正を行う構成となっている。第１実施形態では画角を大きくするために第１ミラー（反射ミラー）２１を凸面鏡としたが、装着用治具レンズ２５の一部の曲率を変える（例えば頭部の向いている方向（前方画像）の光線の透過路に凹レンズ領域３０を設ける）ことで眼球像と前方画像の焦点が双方に合うように構成することができる。

図６は、第１実施形態の第２変形例を示しており、アフォーカル光学系による広角化を行う構成となっている。図６に示すように、負レンズや、アフォーカルに組んだワイドコンバージョンレンズ３１（図６では凹レンズ３１−１及び凸レンズ領域３１−２）を装着用治具レンズ２５の部分に追加することで環境画像を広視野で撮影することができる。

図７は、第１実施形態の第３変形例を示している。本実施の形態では、一眼であるが、図７のように、反対の眼球前にＨＭＤ（ヘッドマウントディプレイ）３２を装着したことを特徴とする。

図８は、本実施形態に係るカメラ部の拡大図である。ここでは図７に示すように、例えば、押しひきネジ６点からなる調整ネジ（光軸調整装置）３３を設けて第１ミラー２１の位置を調整し、これによって眼球画像を撮影できるようにしている。

（第２実施形態）
図９は、本発明の第２実施形態に係る頭部装着カメラの水平断面図である。第２実施形態では、第１実施形態の構成において、左側の装着用治具２９のつるの部分にカメラ部を設けるのみならず、右側の装着用治具２９のつるの部分にもカメラ部を設けた双眼型頭部装着カメラとなっている。ここで各カメラ部のミラー配置は左右対称に配置される。このような構成によれば左右両側からの撮影が可能になるので輻輳の計測や視線方向の推定が容易になる。

また、環境画像をステレオ撮影することができるため、三次元再構成による被写体（図示しない）の立体的構成も捉えることが可能となる。

図１０は、このような双眼型頭部装着カメラにおいて、両眼の相対位置を正確に測定するための構成を示している。すなわち、ユーザが装着するメガネに２台のカメラを搭載した場合には当該めがねのゆがみにより２台のカメラの相対位置関係が変動することが考えられる。そこで、図１０に示すように、一方のカメラが搭載された装着用治具２９の第１ミラー２１と一定の位置関係をもたせて複数のマーカー３４を配置し、当該マーカーを他方のカメラにより撮像することにより、めがねのゆがみによる左右カメラ間の位置関係の変動を検出することができる。

（第３実施形態）
図１１は、本発明の第３実施形態に係る頭部装着カメラの水平断面図である。図１２は、図１１のカメラ部を拡大したときの側面図である。第３実施形態では、光束を絞るために第１ミラー２１としての平凹ミラーレンズを用い、かつ、装着用治具レンズ２５上の眼球２８と対峙する位置に画角を広げるために第２ミラー３６として凸ミラーを配置したことを特徴とする。

第２ミラー３６は熱可塑性樹脂からなる調整用治具３７を介して装着用治具レンズ２５に固着される。ここでの調整用治具３７は、使用者によって瞳の位置が異なるので、調整用治具３７により第２ミラー３６の位置すなわち撮像範囲を変更するために用いる。すなわち、調整用治具３７で第２ミラー３６を支持し、取り付け治具のフィッティング時に熱可塑性樹脂からなる調整用治具３７に熱を加えて、第２ミラー３６の角度調整をユーザーごとに実施するようにしてもよい。第１ミラーを調整用治具で支持して上記と同様の調整を行っても良い。

また、ここでのフィルタ２３−１は環境撮像側視野に関してはローパス／赤外カットの機能をもち、眼球撮像側視野に関しては可視光カット／赤外透過の機能をもっている。

第２ミラー３６としての平凸ミラーレンズは、その平面側を鏡面にしたレンズで、正のパワーを持つ。このような構成により、眼球正面画像（正面瞳孔像）を撮影することができる。図１３はこのときの撮像イメージ図であり、左側は眼球撮像側視野２０による画像であり、右側は環境撮像側視野２４による画像である。

第３実施形態によれば、一枚の画像中に眼球画像と、装着者が見ているイメージの両方を撮像することが可能となる。また、輻輳、瞳孔径変動、視線などを計測しつつ、そのときに主に顔が向いている部分のステレオ映像の撮影も可能となる。

（第４実施形態）
図１４は、本発明の第４実施形態に係る頭部装着カメラの水平断面図である。第４実施形態では、第３実施形態の構成において、左側の装着用治具２９のつるの部分にカメラ部を設けるのみならず、右側の装着用治具２９のつるの部分にもカメラ部を設けた双眼型頭部装着カメラとなっている。ここで各カメラ部のミラー配置は左右対称に配置される。このような構成によれば左右両側からの撮影が可能になるので輻輳の計測や視線方向の推定が容易になる。

（第５実施形態）
図１５は、本発明の第５実施形態に係る頭部装着カメラの水平断面図である。また、図１６は、図１５のカメラ部を拡大したときの側面図である。また、図１７は、図１６に示す構成において眼球２８の位置を図示したものである。

上記した第３実施形態では、眼球の正面に第２ミラー３６を配置しているのでユーザーの視野の妨げになる場合がある。そこで第５実施形態では、装着用治具レンズ２５の眼球２８に対峙する位置ではなく、装着用治具レンズ２５の下方に設けたことを特徴とする。この構成では、眼球２８からの画像は第２ミラー３６に入射した後、第２ミラー３６によって上方に反射され、その反射光が第１ミラー２１に入射する。第１ミラー２１は当該反射光が撮像素子２７に入射するように反射する。

図１８は、第５実施形態における撮像イメージ図である。図１６、図１７の構成の場合、眼球撮像側視野２４において得られる画像は反射ミラーの反射角度により像回転してしまう。そこで、撮像素子２７を光軸を中心に画像回転に対応する角度だけ傾けて配置するようにする。これによって図１８（Ａ）に示すように、環境撮像側視野２０では傾いた撮像イメージとなるが、眼球撮像側視野２４では正しい撮像イメージが得られる。このときは、ステレオ視のエピポーララインに合わせて環境側撮像画像を回転させることが好ましい。

また、これに代えて、撮像素子で撮影された画像を回転させて視線の上下、左右方向の動きを計測する座標軸、もしくは、ステレオ視のエピポーララインに合わせて、それぞれの撮像領域で画像を切り出した上で画像を回転させてもよい。

また、環境側撮像画像を優先する場合は、眼球側撮像画像を画像処理により回転させるようにし、撮像素子自体は傾けず、エピポーララインに沿って配置するようにしてもよい。図１９は撮像素子を傾けないときの撮像イメージである。この場合には、眼球撮像側視野２４では傾いた撮像イメージとなるが、環境撮像側視野２０では正しい撮像イメージが得られる。

（第６実施形態）
図２０は、本発明の第６実施形態に係る頭部装着カメラの水平断面図である。第６実施形態では、左側の装着用治具２９のつるの部分にカメラ部を設けるのみならず、右側の装着用治具２９のつるの部分にもカメラ部を設けた双眼型頭部装着カメラとなっている。ここで各カメラ部のミラー配置は左右対称に配置される。このような構成によれば左右両側からの撮影が可能になるので輻輳の計測や視線方向の推定が容易になる。

（付記）
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。第２ミラーとしての凸ミラーは平凹レンズの平面側を鏡面にした平凹レンズミラーとしても良く、正負のパワー配分が同様な、凹ミラー、凸ミラーの組み合わせ、平凸ミラーレンズ、平凹ミラーレンズの組み合わせとしてもよい。

特に、平凹ミラーレンズ、平凸ミラーレンズを使うと、ミラー蒸着面の保護には有効である。逆に、凹ミラー、凸ミラーの組み合わせは、反射面のみの組み合わせなので、色収差の発生がないという利点がある。

また、液状の屈折材料を充填し、凹面の可変フィルム面と、平面の鏡面を持った可変焦点ミラーレンズなどを使うことで、ユーザーに合わせた曲率で、眼球より鮮明に撮像するよう構成したり、静電式の可変焦点ミラーを用いて、光軸調整と、焦点距離の調整を行い、取り付け治具の頭部へのフィッティングや、ユーザーの眼球位置に合わせた撮像位置の調整をするように構成してもよい。

図１は、本発明の第１実施形態に係る頭部装着カメラの水平断面図である。図２は、図１の一部を拡大して示す図である。図３は、第１実施形態における撮像イメージ図である。図４は、撮像素子２７からの撮像信号から画像を生成する画像処理部１００の構成を示す図である。図５は、第１実施形態の第１変形例を示す図である。図６は、第１実施形態の第２変形例を示す図である。図７は、第１実施形態の第３変形例を示す図である。図８は、本実施形態に係るカメラ部の拡大図である。図９は、本発明の第２実施形態に係る頭部装着カメラの水平断面図である。図１０は、双眼型頭部装着カメラにおいて、両眼の相対位置を正確に測定するための構成を示す図である。図１１は、本発明の第３実施形態に係る頭部装着カメラの水平断面図である。図１２は、図１１のカメラ部を拡大したときの側面図である。図１３は、第３実施形態における撮像イメージ図である。図１４は、本発明の第４実施形態に係る頭部装着カメラの水平断面図である。図１５は、本発明の第５実施形態に係る頭部装着カメラの水平断面図である。図１６は、図１５のカメラ部を拡大したときの側面図である。図１７は、図１６に示す構成において眼球２８の位置を示す図である。図１８は、第５実施形態における撮像イメージ図である。図１９は撮像素子を傾けないときの撮像イメージである。図２０は、本発明の第５実施形態に係る頭部装着カメラの水平断面図である。

符号の説明

２０環境撮像側視野
２１第１ミラー
２２結像レンズ
２３ローパス／赤外カットフィルタ
２４眼球撮像側視野
２５装着用治具レンズ
２６顔面
２７撮像素子
２８眼球
２９装着用治具

Claims

結像光学系と、
前記結像光学系により結像された被写体像を撮像する撮像素子と、
前記撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する視野分割光学系と、
を具備することを特徴とする撮像装置。
前記視野分割光学系は、前記結像光学系の前段に、前記結像光学系に対して所定の傾きを持たせて配置され、前記結像光学系の視野を少なくとも２分する反射ミラーであることを特徴とする請求項１記載の撮像装置。
前記反射ミラーは、負のパワーを持つ光学系からなることを特徴とする請求項１または２記載の撮像装置。
前記反射ミラーは、凸面ミラーであることを特徴とする請求項３記載の撮像装置。
前記反射ミラーは、凹屈折面と、少なくとも前記凹屈折面よりも曲率半径の大きい反射面とを持つ透過反射型のミラーレンズであることを特徴とする請求項３記載の撮像装置。
前記反射ミラーは、正のパワーを持つ光学系からなることを特徴とする請求項１または２記載の撮像装置。
前記反射ミラーは凹面ミラーであることを特徴とする請求項６記載の撮像装置。
前記反射ミラーは、凸屈折面と、少なくとも前記凸屈折面よりも曲率半径の小さい反射面とを持つ透過反射型のミラーレンズであることを特徴とする６記載の撮像装置。
結像光学系と、
前記結像光学系により結像された被写体像を撮像する撮像素子と、
前記撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する視野分割光学系と、
前記視野分割光学系により分割された視野により、眼球正面から撮像するための屈曲光学系と、
を具備することを特徴とする撮像装置。
前記視野分割光学系は、前記結像光学系の前段に、前記結像光学系に対して所定の傾きを持たせて配置され、前記結像光学系の視野を少なくとも２分する反射ミラーであり、前記屈曲光学系は、前記２分された視野をさらに所定角度屈曲させる反射ミラーであることを特徴とする請求項９記載の撮像装置。
第１の結像光学系と、
前記第１の結像光学系により結像された被写体像を撮像する第１の撮像素子と、
前記第１の撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する第１の視野分割光学系と、を具備する第１の撮像装置と、
第２の結像光学系と、
前記第２の結像光学系により結像された被写体像を撮像する第２の撮像素子と、
前記第２の撮像素子で撮像する視野を環境撮像側視野と、眼球撮像側視野とに分割する第２の視野分割光学系と、を具備する第２の撮像装置と、から構成され、
前記第１の撮像装置と第２の撮像装置とは互いに一方が他方を撮像可能なように対向して配置されていることを特徴とする撮像装置。
前記第１の撮像装置および第２の撮像装置の少なくともいずれか一方には、前記第１の撮像装置と第２の撮像装置間の位置変動を検出するためのマーカーが設置されていることを特徴とする請求項１１記載の撮像装置。