JP2020178270A - 撮像装置、ヘッドマウントディスプレイ、画像表示システム、画像解析装置、および画像データ出力方法 - Google Patents

Abstract

【課題】撮影画像の解析を状況によらず安定した精度で行う。【解決手段】撮像装置の信号処理装置１２において撮影画像取得部５２は、撮像モジュールから撮影画像を取得する。温度取得部５６は撮像モジュールの温度を取得する。レンズパラメータ取得部５８は、レンズパラメータの温度特性を参照し、取得された温度に対応するレンズパラメータの値を取得する。信号処理部５４は取得されたレンズパラメータの値を用いて撮影画像を補正する。データ出力部６２は、取得されたレンズパラメータと撮影画像を対応づけて画像解析装置１６に出力する。【選択図】図６

Description

本発明は、表示や解析に用いる画像を撮影する撮像装置、当該画像に基づく表示を行うヘッドマウントディスプレイ、画像表示システム、当該画像を解析する画像解析装置、および、撮像装置による画像データ出力方法に関する。

ユーザをビデオカメラで撮影し、その像を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインターフェースシステムも知られている。このように、撮影画像を利用して実空間の様子を取得し、表示画像に反映させたり何らかの情報処理を行ったりする技術は、小型の携帯端末からレジャー施設まで、その規模によらず幅広い分野で利用されている。

一方、ヘッドマウントディスプレイを装着したユーザの視線に対応する視野で画像を表示するシステムも開発されている。ヘッドマウントディスプレイを利用することで、画像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることができる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

欧州特許出願公開第０９９９５１８号明細書

撮影画像を解析して実空間に係る情報を得る技術では、焦点距離、光学中心、光軸の向きなど、カメラに関するパラメータが、取得する情報の精度に大きく影響する。一般には、事前のキャリブレーションによりそれらの値を取得しておき、運用時に用いる演算においては定数として扱うことで解析結果を得る。しかしながら運用時の様々な環境要因によって当該パラメータの値が変化すると、解析結果にも影響が及び、ひいては出力されるデータの品質低下にもつながる。軽量化が求められるヘッドマウントディスプレイにカメラを設ける場合は特に、カメラの性能に対する制限も大きくなるため、問題が顕在化しやすい。

本発明はこのような課題に鑑みてなされたものであり、その目的は、撮影画像の解析を状況によらず安定した精度で行えるようにする技術を提供することにある。

本発明のある態様は撮像装置に関する。この撮像装置は、撮像モジュールにより撮影された画像のデータを取得する撮影画像取得部と、撮像モジュールの温度を取得する温度取得部と、撮像モジュールの温度変化に対するレンズパラメータの変化を示す温度特性データを参照し、温度取得部が取得した温度に対するレンズパラメータの値を取得するレンズパラメータ取得部と、取得されたレンズパラメータの値と画像のデータを対応づけて出力する出力部と、を備えたことを特徴とする。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記撮像装置と、レンズパラメータの値を用いて画像のデータを解析した結果を反映させた画像を表示させる表示パネルと、を備えたことを特徴とする。

本発明のさらに別の態様は画像表示システムに関する。この画像表示システムは、上記ヘッドマウントディスプレイと、当該ヘッドマウントディスプレイからレンズパラメータの値と画像のデータを取得し、レンズパラメータの値を用いて画像のデータを解析したうえ、その結果を反映させた画像をヘッドマウントディスプレイに出力する画像生成装置と、を含むことを特徴とする。

本発明のさらに別の態様は画像解析装置に関する。この画像解析装置は、撮影画像のデータと、撮像モジュールの温度に依存するレンズパラメータの値を対応づけたデータを撮像装置から取得するデータ取得部と、レンズパラメータの値を用いて撮影画像を解析する画像解析部と、解析結果に基づき出力データを生成する出力データ生成部と、を備えたことを特徴とする。

本発明のさらに別の態様は撮像装置による画像データ出力方法に関する。この画像データ出力方法は、撮像モジュールにより撮影された画像のデータを取得するステップと、撮像モジュールの温度を取得するステップと、撮像モジュールの温度変化に対するレンズパラメータの変化を示す温度特性データを参照し、温度を取得するステップにおいて取得された温度に対するレンズパラメータの値を取得するステップと、取得されたレンズパラメータの値と画像のデータを対応づけて出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像の解析を状況によらず安定した精度で行える。

本実施の形態を適用できる画像解析システムの構成例を示す図である。 焦点距離と像高の関係を示す図である。 光の入射角に対する像高の変化の、温度による影響を示す図である。 本実施の形態における撮像装置の回路構成を示す図である。 本実施の形態における画像解析装置の内部回路構成を示す図である。 本実施の形態における信号処理装置と画像解析装置の機能ブロックの構成を示す図である。 本実施の形態の撮像装置を適用できるヘッドマウントディスプレイの外観形状の例を示す図である。 図７のヘッドマウントディスプレイを含む画像表示システムの構成例を示す図である。 本実施の形態における撮像モジュールの外観形状の例を斜視図で示す図である。 本実施の形態における撮像モジュールの断面図を示す図である。 レンズの焦点距離とレンズの高さ方向の位置の、温度に対する変化量を示す図である。 本実施の形態における、撮像モジュールを固定する基板を含めた撮像装置の内部構造を示す図である。

図１は、本実施の形態を適用できる画像解析システムの基本的な構成を示している。画像解析システム１は、撮像モジュール１０、信号処理装置１２、および画像解析装置１６を含む。撮像モジュール１０は少なくとも、レンズと、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含む。信号処理装置１２は、撮像モジュール１０から出力される画像信号に対し、欠陥補正、ノイズ除去、デモザイク処理など所定の処理を施し撮影画像のデータを生成する。

撮像モジュール１０と信号処理装置１２は、それらを一体的に備える撮像装置１４として実現してもよい。画像解析装置１６は、信号処理装置１２から撮影画像のデータを取得し、それを解析することにより所定の情報を取得する。例えば特定の被写体を検出したりその３次元空間での位置を取得したりする。この場合、画像解析システム１には、撮像モジュール１０を２つ設けたステレオカメラを導入してもよい。ステレオカメラにより既知の間隔を有する左右の視点から画像を撮影し、対応する特徴点の位置の差（視差）に基づき三角測量の原理で被写体までの距離を求める技術は広く知られている。

なお画像解析装置１６は、撮像モジュール１０および信号処理装置１２を含む撮像装置１４の一部としてもよいし、撮像装置１４から撮影画像のデータを受信し、それを用いて所定の処理を実施する情報処理装置の一部としてもよい。後者の場合、信号処理装置１２と画像解析装置１６は、有線または無線で通信接続する。このように一体的な装置としての、撮像モジュール１０、信号処理装置１２、画像解析装置１６の組み合わせは図示するものに限らず、また、図示しない機能を有する他の装置と適宜組み合わせてもよい。

撮像モジュール１０のレンズの設計や素材、撮像装置１４における撮像モジュール１０の取り付け具合などに依存する、撮像装置１４固有のパラメータは、キャリブレーションにより事前に取得しておく。これにより画像解析装置１６は、それを踏まえた解析を行うことで精度のよい解析結果を得る。一方、レンズは温度によってその屈折率が変化する。そのため運用時、各種回路の発熱により撮像装置１４内部の温度が上昇すると、焦点距離やレンズの歪み再現係数が変化し、画像解析の結果に看過できない影響を及ぼし得る。このことは、ヘッドマウントディスプレイや携帯端末など、軽量化が望まれる装置に導入される樹脂製のレンズでは特に顕著となる。

画像解析の一例として、ステレオカメラにより撮影された画像を用いて、被写体までの距離を求める技術がある。ステレオカメラのそれぞれが撮影した画像の１画素が表す被写体の幅Δｘは、被写体までの距離Ｚに比例して次のように表される。
Δｘ＝Ｚ×ｗ／Ｗ
ここでＷはカメラの横方向の画素数、ｗは距離Ｚが１のときの、実空間の横方向の視野範囲であり視角、ひいては焦点距離に依存する。

レンズの光軸間の距離がＬのステレオカメラで撮影された同一の被写体は、その画像上でおよそ下記のような画素数上の視差Ｄ（画素）を有する。
Ｄ＝Ｌ／Δｘ＝Ｌ×（Ｗ／ｗ）×（１／Ｚ）
したがって、ステレオカメラが撮影した一対の画像において、同じ被写体の像を表す特徴点を抽出し、それらの視差Ｄ（画素）を取得すれば、被写体までの距離Ｚは次のように求められる。
Ｚ＝Ｌ×（Ｗ／ｗ）×（１／Ｄ）

このようなステレオカメラを用いた距離値の算出は、一般的になされるものであるが、通常はパラメータｗ、Ｗ、Ｌを事前に取得しておき、定数として扱う。光軸が平行でない場合はその角度差を考慮した演算となる。一方、上述のように温度によって焦点距離やレンズの歪み再現係数が変化すると、パラメータｗの真値が変化する。図２は、焦点距離と像高の関係を示す図である。（ａ）、（ｂ）はいずれも、レンズ８を含む撮像モジュールを俯瞰した状態を模式的に示している。

主点からのＺの距離に、光軸ｏからの幅がＹの実物体があると、その像の幅Ｙ’は次のように求められる。
Ｙ’＝ｆ×Ｙ／Ｌ
すなわち図示するように、焦点距離ｆ_１が小さい（ａ）の場合に比べ、焦点距離ｆ_２が大きい（ｂ）の場合の方が、像の幅Ｙ’が大きくなる。撮像素子が及ぶ幅、すなわち画像平面の幅は変化しないため、そこに表される実物体の範囲は、（ａ）の方が広くなる。結果として、焦点距離が増加するほど上述したパラメータｗが小さくなるが、これを定数としてしまうことで、距離Ｚの見積もりに誤差が生じる。また、レンズによる歪みが大きいと、パラメータｗは画像平面上での位置によっても変化する。

図３は、光の入射角に対する像高の変化の、温度による影響を示している。入射角が増加するほど当然、像高も増加するが、温度が５０℃のときの像高１８ａは２５℃のときの像高１８ｂより微小量大きく、入射角が大きくなるとその差が顕著になる。この特性は焦点距離のみならず歪み再現係数の変化が影響している。像高の差１９を画素数で表すと、入射角が７０°程度において２０画素ほどの差が生じる。このような変化が、上述の距離の算出に看過できない影響をもたらす。

なおレンズによる画像の歪みは一般に次のようなモデル式で表される。
ｘ’＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４＋ｋ_３ｒ^６）ｘ＋２ｐ_１ｘｙ＋ｐ_２（ｒ^２＋２ｘ^２）
ｙ’＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４＋ｋ_３ｒ^６）ｙ＋ｐ_１（ｒ^２＋２ｙ^２）＋２ｐ_２ｘｙ
ここで（ｘ，ｙ）は光軸を中心とした座標系における、歪んでいない画像の位置座標、ｒは光軸からの距離、（ｘ’，ｙ’）は歪んだ画像の位置座標である。またｋ_１、ｋ_２１、ｋ_３は径方向の歪みを表す係数、ｐ_１、ｐ_２は円周方向の歪みを表す係数であり、本実施の形態ではこれらの係数を歪み再現係数と呼んでいる。

温度に対するレンズによる画像の歪みの度合いが変化すると、像の形状自体が、画像平面上での位置に依存して変化することになる。すなわち、熱膨張によるレンズ形状の歪みに加え、レンズ屈折率の変化も、画像の歪みの変化に影響を及ぼしている。このような変化は、上述した被写体までの距離の算出のみならず、画像上の特徴点の位置に基づき情報を取得する多くの画像解析においても問題となる。そこで本実施の形態では、焦点距離や歪み再現係数など温度に対し変化するパラメータの特性をあらかじめ取得しておくとともに、運用時に温度を実測することでパラメータの真値を取得し画像解析に利用する。

図４は、撮像装置１４の回路構成を示している。撮像装置１４は、撮像モジュール１０のほか、温度センサ５０、ＣＰＵ（Central Processing Unit）４２、メインメモリ４４、および通信部４６を含む。温度センサ５０は、撮像モジュール１０の表面または内部の温度を継続して測定するサーミスタなどのセンサである。ＣＰＵ４２は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。

メインメモリ４４はＲＡＭ（Random Access Memory）により構成され、ＣＰＵ４２が処理するデータやパラメータ、操作信号などを一時的に記憶する。通信部４６は、ネットワークアダプタまたはアンテナを含み、有線または無線通信により、ＣＰＵ４２から入力されるデータを外部に送信する。通信部４６はまた、ネットワークアダプタまたはアンテナを介して有線または無線通信により、外部からデータを受信し、ＣＰＵ４２に出力する。

図５は画像解析装置１６の内部回路構成を示している。画像解析装置１６は、ＣＰＵ２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置などへデータを出力する出力部３６、入力装置などからデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像解析装置１６の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭにより構成され、処理に必要なプログラムやデータを記憶する。

図６は本実施の形態における信号処理装置１２と画像解析装置１６の機能ブロックの構成を示している。図示する機能ブロックは、ハードウェア的には、図４、５で示したＣＰＵ、メインメモリなど各種回路で実現でき、ソフトウェア的には、メインメモリにロードされた、データ入力機能、データ保持機能、各種演算機能など諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

信号処理装置１２は、撮像モジュール１０から画像信号を取得する撮影画像取得部５２、撮像モジュール１０の温度を取得する温度取得部５６、温度に応じて所定のパラメータの値を取得するレンズパラメータ取得部５８、撮像モジュール１０の温度と所定のパラメータの関係を示す温度特性を記憶する温度特性記憶部６０、撮影画像に所定の処理を施す信号処理部５４、および、撮影画像のデータと所定のパラメータの値を対応づけて出力するデータ出力部６２を備える。

撮影画像取得部５２は図４のＣＰＵ４２などで実現され、撮像モジュール１０の撮像素子から撮影画像の電気信号を取得する。温度取得部５６は図４のＣＰＵ４２などで実現され、温度センサ５０から撮像モジュール１０の温度の計測値を継続して取得する。レンズパラメータ取得部５８は、温度取得部５６が取得した温度におけるパラメータの値を取得する。ここで取得するパラメータは代表的には焦点距離、レンズの歪み再現係数であるが、温度によって変化し画像解析の精度に影響を与えるパラメータであればその種類は限定されない。レンズパラメータ取得部５８はそのうちのいずれか１つ、または２つ以上のパラメータの値を取得する。以後、このようなパラメータを「レンズパラメータ」と総称する。

温度特性記憶部６０は図４のメインメモリ４４などにより実現され、事前に実測などにより取得された、撮像モジュール１０の温度とレンズパラメータの値との関係を表すデータを格納する。当該データは例えば離散的な温度に対しレンズパラメータを表したテーブルの形式とする。この場合、レンズパラメータ取得部５８は、温度の計測値に基づき当該テーブルで表される値を適宜補間するなどしてレンズパラメータの値を取得する。ここでレンズパラメータ取得部５８は、所定の時間間隔でそのときの温度に対応する値を取得してもよいし、温度が所定値以上変化したタイミングで、それに対応する値を取得してもよい。

信号処理部５４は図４のＣＰＵ４２、メインメモリ４４などで実現され、欠陥補正、ノイズ除去、デモザイク処理など、一般的な撮影画像に対してもなされる信号処理を実施することで撮影画像のデータを生成する。このとき信号処理部５４は、レンズ歪みの補正も行ってよい。この補正には、上述したレンズの歪み再現係数により表されるモデル式を用いることができる。そこで信号処理部５４は、レンズパラメータ取得部５８が取得した、各時点での温度に対応する歪み再現係数を取得し、それを用いて補正を行ってよい。

データ出力部６２は図４のＣＰＵ４２、メインメモリ４４、通信部４６などで実現され、信号処理部５４が生成した撮影画像のデータと、レンズパラメータ取得部５８が取得したレンズパラメータとを対応づけて画像解析装置１６に出力する。すなわち焦点距離や歪み再現係数など、画像解析装置１６における画像解析に用いられるパラメータの値を、画像のデータに対応づけて出力する。

撮影画像のフレームデータを所定のレートで順次出力する場合、データ出力部６２は、レンズパラメータ取得部５８がレンズパラメータの新たな値を取得したときのみ、対応するフレームデータに対応づけて出力してもよい。画像解析装置１６は、信号処理装置１２が出力したデータを取得するデータ取得部６６、当該データのうちレンズパラメータを用いて撮影画像を解析する画像解析部６８、および解析結果を用いて出力すべきデータを生成し出力する出力データ生成部７０を備える。データ取得部６６は図５の通信部３２、ＣＰＵ２３などで実現され、信号処理装置１２から、撮影画像のデータとレンズパラメータの値とを対応づけたデータを取得する。

画像解析部６８は図５のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、信号処理装置１２から送信されたレンズパラメータの値を用いて撮影画像を解析し所定の情報を取得する。解析手段や取得する情報は特に限定されない。例えば上述のとおり、ステレオカメラによる撮影画像から対応する特徴点を抽出し、その視差に基づき被写体の距離を求めてもよい。この場合、同時に取得した焦点距離などを用いて、上述したパラメータｗを調整する。これにより、撮像モジュール１０の温度が変化しても、算出する距離値の精度を保つことができる。そのほか、温度に依存したレンズパラメータを用いて解析を行うことにより、対象物の検出や認識といった、像の形状や特徴点ベースの解析についても安定した精度で結果を導出できる。

出力データ生成部７０は図５のＣＰＵ２３、出力部３６などで実現され、画像解析の結果を用いて出力データを生成し出力する。例えば被写体の距離を用いて３次元での位置を取得し、当該位置や動きに対応するような仮想世界の画像を描画する。あるいは撮影画像にそのような仮想オブジェクトを重畳させる。そのようにして生成した画像を図示しない表示装置に出力すれば、仮想現実、拡張現実、複合現実などの画像表現を実現できる。ただし出力データ生成部７０が出力するデータは表示画像に限らず、画像解析の結果そのものを出力データとしてもよいし、解析結果を入力情報として自らが情報処理を実施し、その結果を出力してもよい。

図７は、本実施の形態の撮像装置を適用できるヘッドマウントディスプレイの外観形状の例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において両眼を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどで実現する。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、広い視野で画像が視認されるようにする一対のレンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

ヘッドマウントディスプレイ１００は、出力機構部１０２の前面にカメラ１１０を備える。当該カメラ１１０は、図１で示した撮像モジュール１０と信号処理装置１２を備え、ユーザの顔の向きに対応する視野で、実空間を所定のフレームレートで撮影する。なおカメラ１１０はヘッドマウントディスプレイ１００の前面に１つのみ設けられてもよいし、図示するようにステレオカメラとしてもよい。またカメラ１１０は、ユーザの前方を撮影できれば、その配置は特に限定されない。

カメラ１１０が撮影した画像は、表示画像の生成に必要な画像解析の対象となるほか、ヘッドマウントディスプレイ１００自体に表示する画像の少なくとも一部として使用することもできる。例えば撮影画像をそのまま表示画像とすれば、ユーザは目の前の実空間を直接見ているのと同じ状態となる。また、上述のとおり解析結果を利用して適切な位置に仮想オブジェクトを重畳させることにより、拡張現実や複合現実を実現できる。

図８は、図７のヘッドマウントディスプレイを含む画像表示システムの構成例である。ヘッドマウントディスプレイ１００は、有線または無線により画像生成装置２００と通信を確立する。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

画像生成装置２００は図１の画像解析装置１６を含み、ヘッドマウントディスプレイ１００のカメラ１１０が撮影した画像のデータを順次受信し、画像解析により被写体に係る情報を取得する。そして当該情報を反映させた表示画像を生成し、ヘッドマウントディスプレイ１００に送信する処理を所定のレートで繰り返す。ある態様において画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるようにコンテンツの表示画像を所定のレートで生成する。

このとき画像生成装置２００の画像解析装置１６は、撮影画像を用いてｖ−ＳＬＡＭ(Visual Simultaneous Localization And Mapping)などの技術により実空間における頭部の位置や姿勢を取得する。この際も、撮像モジュールの温度に対し正確なレンズパラメータを用いることにより、頭部の位置や姿勢を精度よく求め続けることができる。なお頭部の回転角や傾きは、ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサによっても取得し、撮影画像の解析結果と相補完的に用いてもよい。

ヘッドマウントディスプレイ１００は人が頭部に装着する関係上、その軽量化が大きな課題となる。カメラ１１０に導入するレンズを樹脂製とすると、ガラス製のレンズより軽量化が図れる一方、温度に対する頑健性が低くなり、解析結果を用いた表示画像の質が低下したり、場合によっては立体視などに支障が生じ体調不良の原因となったりすることも考えられる。本実施の形態によれば、樹脂製のレンズであっても安定的な解析を実現できるため、画質と軽量化を両立させることができる。

これまで述べた手法は、撮像モジュール内の温度変化による解析精度への影響の原因として、レンズの屈折率に起因したパラメータの変化に着目していた。一方、温度による変化は、レンズの屈折率に限らず、撮像モジュール１０を構成する部品にも表れる。図９は、撮像モジュール１０の外観形状の例を斜視図で示している。撮像モジュール１０はレンズを内蔵するレンズ部８０と撮像素子８２を内蔵するセンサ部８４によって構成される。

レンズ部８０は、光軸方向に複数のレンズを固定し得るレンズバレル８６と、その外周にあり、レンズバレル８６をセンサ部８４から所定の高さで保持するレンズホルダを８８により構成される。レンズバレル８６はレンズホルダ８８の内壁に螺合され、製造時などに回動によってレンズの高さを調整することで、撮像素子８２に対しフォーカスを合わせておくことができる。このような構成の撮像モジュール１０においては、レンズホルダ８８が熱の影響をうけて膨張、変形する。

図１０は、撮像モジュール１０の断面図を示している。例えば（ａ）に示すように、撮像素子８２を内蔵するセンサ部８４上面にレンズホルダ８８ａが接合され、それによりレンズバレル８６ａが保持されている。温度によりレンズホルダ８８ａの高さが変化すると、レンズ８の主点と撮像素子８２の面との距離Ａが変化する。定性的には、温度の上昇に伴いレンズホルダ８８ａが熱膨張することにより、距離Ａが増加する。なお図ではレンズ８を１つとしているが、レンズの数を限定する趣旨ではない。

この場合も、図２で示したのと同様の原理により、撮像面に表される実空間の範囲が変化し、被写体までの距離など画像解析の結果に影響を与える。図の（ａ）、（ｂ）においてレンズバレル８６ａ、８６ｂは同じ高さで保持されているが、レンズホルダ８８ａ、８８ｂとの螺合箇所の高さが異なっている。すなわち（ａ）のレンズホルダ８８ａと（ｂ）のレンズホルダ８８ｂにおける、ねじ部（例えばねじ部８９）が形成される高さＨａ、Ｈｂは、Ｈａ＜Ｈｂの関係にある。これに対応するように、（ａ）のレンズバレル８６ａと（ｂ）のレンズバレル８６ｂにおける、ねじ部が形成される高さｈａ、ｈｂは、ｈａ＜ｈｂとしている。

レンズホルダ８８ａ、８８ｂ自体が高さ方向に同様に膨張しても、その変化量は高さ方向の位置に依存し、低い位置ほど膨張の影響を受けにくい。レンズホルダ８８ａ、８８ｂの線膨張係数をαとすると、Δｔの温度変化に対し位置Ｈでの高さの変化量ΔＡは次の式で得られる。
ΔＡ＝α・Ｈ・Δｔ
つまり（ａ）のレンズバレル８６ａは、（ｂ）のレンズバレル８６ｂより高さが変化しにくい。

一方、上述のとおり、レンズ８の屈折率が熱により変化すると、焦点距離が長くなる。これらの特性を利用すると、ねじ部８９の幅をレンズバレルの高さより小さくしたうえ、その形成位置を最適化すれば、焦点距離の変化に合うように距離Ａを変化させ、温度による影響を相殺させることができることになる。Δｔの温度変化での焦点距離の変化量がΔＦのレンズの場合、レンズホルダにおけるねじ部の高さの最適値Ｈは次のようになる。
Ｈ＝ΔＦ／（α・Δｔ）

なおレンズホルダによるレンズバレルの保持機構はねじに限定されず、その場合「ねじ部」は両者の「接触部」、またはレンズホルダによる「保持位置」、と言い換えることができる。また図示するねじ部８９のように接触部はある幅を有してよく、その高さとはレンズホルダの底面（センサ部８４上面）から、接触部下端、上端、あるいは中点など、接触部の所定の位置までの距離とする。

図１１は、レンズの焦点距離とレンズの高さ方向の位置の、温度に対する変化量を示している。ここで白丸は焦点距離の変化量、点線９４、実線９６はそれぞれ、レンズホルダの接触部の設計上の高さが４ｍｍ、８ｍｍの場合のレンズの位置の変化量である。上述のとおり接触部を高い位置に設計するほど、温度変化に対するレンズの高さの変化量が大きくなる。またこの例のレンズでは、接点の高さを８ｍｍで設計すると、レンズの位置の変化と焦点距離の変化を一致させることができる。

つまり上述のように、温度に対する焦点距離の変化率ΔＦ／Δｔやレンズホルダの線膨張係数α、ひいてはレンズやレンズホルダの素材やサイズなどによって、接触部の高さの最適値が存在することがわかる。したがって図示するように、レンズの位置の変化が焦点距離の変化に合致するようなねじ部の高さを、導入するレンズやレンズホルダの素材やサイズなどを決定したうえで実験または理論式により導出する。レンズホルダおよびレンズバレルのねじ部をその結果に従って形成すれば、温度変化に対する撮影画像上での像の変化を抑えられ、ひいては画像解析の精度を保つことができる。

レンズホルダ８８の熱膨張は、撮像装置の外部パラメータにも影響する。例えばステレオカメラにおいてレンズホルダが膨張すると、レンズの光軸が平行でなくなったり光軸の間隔が変化したりすることが考えられる。このような変化は、上述した被写体の距離の算出に影響を与える。この対策として本実施の形態では、レンズの主点近傍で撮像モジュールを固定することにより、レンズホルダの膨張に対する外部パラメータの変化を抑える。

図１２は、撮像モジュール１０を固定する基板を含めた撮像装置１４の内部構造を示している。図の上段は撮像装置１４の内部をレンズの方向から見た状態を示している。この例では２つの撮像モジュール１０ａ、１０ｂが既知の間隔を有して配置されるステレオカメラを想定しているが、撮像モジュール１０の数は限定されない。撮像モジュール１０ａ、１０ｂは基板９０により固定されている。基板９０は図１の信号処理装置１２の少なくとも一部の回路を含んでよく、撮像装置１４の筐体に固定される。

（ａ）、（ｂ）は側面図を示している。（ａ）は一般的な撮像装置の内部構造であり、基板９０ａの上面に撮像モジュール１０ａ、１０ｂが固定されている。この場合、レンズの位置や向きに対する自由度が比較的高く、レンズホルダの熱膨張や変形により、左右のレンズの光軸の間隔や向きが変化することが考えられる。（ｂ）は本実施の形態の撮像装置１４の内部構造を示しており、撮像モジュール１０ａ、１０ｂのレンズの主点９２ａ、９２ｂと基板９０ｂの上面が一致するように固定している。

すなわち基板９０ｂに対し撮像モジュール１０ａ、１０ｂを貫通させ、撮像モジュール１０ａ、１０ｂの側面において基板９０ｂの貫通孔と接合している。このような構造によれば、レンズホルダが膨張、変形しても、レンズの主点９２ａ、９２ｂ近傍は固定された状態となるため、左右のレンズの光軸の間隔や向きが変化しにくい。結果として、外部パラメータの変化を小さくでき、温度変化による解析精度への影響を抑えることができる。

なお（ｂ）では基板９０ｂの上面をレンズの主点９２ａ、９２ｂの位置に合わせていたが、本実施の形態をそれに限定する趣旨ではない。例えば（ａ）に示すように撮像モジュール１０ａ、１０ｂの底面で基板９０ａと接合するのと比較すれば、撮像モジュール１０ａ、１０ｂの側面を基板９０ｂで固定するのみで効果を発揮する。さらにレンズの主点９２ａ、９２ｂから高さ方向に所定の範囲内で基板９０と接合することにより、解析精度の維持にはより効果的となる。

以上述べた本実施の形態によれば、撮像モジュールの温度変化に対するレンズパラメータの変化をあらかじめ取得しておく。そして運用時に撮像モジュールの温度を計測し、それに対応するレンズパラメータの値を用いて、撮影画像の補正や解析を行う。これにより、長時間の運用や、撮像モジュールを含む装置の構成などによって内部温度がいかに変化しても、解析結果への影響を抑えることができる。また撮影画像のデータと、温度に対応するレンズパラメータの値とを対応づけて出力できるようにすることにより、撮影画像を利用して何らかの処理を実施する外部の装置においても、処理の精度を安定化させることができる。

また、撮像モジュールのレンズホルダの高さを、レンズやレンズホルダの素材に基づき選択する。これにより、撮像モジュールの温度上昇による焦点距離の増加による影響を、レンズホルダの熱膨張による影響で適切に相殺できる。素材によって構造を最適化できるため、様々な素材の組み合わせに対応でき、どのような場合でもモジュール全体として温度変化による影響を抑えることができる。

さらに、撮像モジュールを撮像装置として組み付ける際、レンズの主点近傍で基板に固定する。これにより、レンズホルダが熱により膨張したり変形したりしても、レンズの主点は撮像装置に固定された状態となり、光軸の向きが変化しにくくなる。また多眼カメラの場合は、光軸同士の距離も変化しにくくなる。結果として、撮像モジュールの温度によらず画像解析を安定した精度で実施できる。また光軸が固定されることから、撮影画像をそのまま表示させる場合でも、安定した表示が可能である。

上記の態様は、温度に対する変化が大きい樹脂製のレンズでは特に効果を発揮する。そのため本実施の形態の撮像モジュールまたは撮像装置を、ヘッドマウントディスプレイや携帯端末などに導入すれば、装置の軽量化と出力データの品質を両立させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、信号処理装置１２が、撮像モジュール１０の温度に対応するレンズパラメータを取得し、補正に用いたり撮影画像のデータに対応づけて出力したりする態様（図６）、レンズホルダ８８の高さの最適化（図１０）、撮像モジュールを固定する位置の最適化（図１１）は、そのいずれか１つを実施してもよいし、２つ以上を組み合わせて実施してもよい。いずれにしろ、撮像装置１４から画像解析装置１６に撮影画像に係るデータを送信すれば、温度に対する画像解析の頑健性を高めることができ、ひいては高品質な画像を安定的に表示できる。

２ 画像解析システム、 １０ 撮像モジュール、 １２ 信号処理装置、 １４ 撮像装置、 １６ 画像解析装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ４２ ＣＰＵ、 ４４ メインメモリ、 ４６ 通信部、 ５０ 温度センサ、 ５２ 撮影画像取得部、 ５４ 信号処理部、 ５６ 温度取得部、 ５８ レンズパラメータ取得部、 ６０ 温度特性記憶部、 ６２ データ出力部、 ６６ データ取得部、 ６８ 画像解析部、 ７０ 出力データ生成部。

Claims (9)

1. 撮像モジュールにより撮影された画像のデータを取得する撮影画像取得部と、
   前記撮像モジュールの温度を取得する温度取得部と、
   前記撮像モジュールの温度変化に対するレンズパラメータの変化を示す温度特性データを参照し、前記温度取得部が取得した温度に対する前記レンズパラメータの値を取得するレンズパラメータ取得部と、
   取得されたレンズパラメータの値と前記画像のデータを対応づけて出力する出力部と、
   を備えたことを特徴とする撮像装置。
2. 前記レンズパラメータ取得部は、前記レンズパラメータとして焦点距離および歪み再現係数の少なくともいずれかの値を取得することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影画像取得部は、異なる位置から被写空間を撮影する複数の前記撮像モジュールのそれぞれにより撮影された複数の画像のデータを取得し、
   前記レンズパラメータ取得部は、前記複数の画像を用いて被写体の距離を求める際の演算に影響を与える前記レンズパラメータの値を取得することを特徴とする請求項１または２に記載の撮像装置。
4. 前記レンズパラメータ取得部が取得したレンズパラメータの値を用いて、前記画像のデータを補正する信号処理部をさらに備えたことを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. 請求項１から４のいずれかに記載の撮像装置と、
   前記レンズパラメータの値を用いて前記画像のデータを解析した結果を反映させた画像を表示させる表示パネルと、
   を備えたことを特徴とするヘッドマウントディスプレイ。
6. 請求項５に記載のヘッドマウントディスプレイと、
   当該ヘッドマウントディスプレイから前記レンズパラメータの値と前記画像のデータを取得し、前記レンズパラメータの値を用いて前記画像のデータを解析したうえ、その結果を反映させた画像を前記ヘッドマウントディスプレイに出力する画像生成装置と、
   を含むことを特徴とする画像表示システム。
7. 撮影画像のデータと、撮像モジュールの温度に依存するレンズパラメータの値を対応づけたデータを撮像装置から取得するデータ取得部と、
   前記レンズパラメータの値を用いて前記撮影画像を解析する画像解析部と、
   解析結果に基づき出力データを生成する出力データ生成部と、
   を備えたことを特徴とする画像解析装置。
8. 撮像モジュールにより撮影された画像のデータを取得するステップと、
   前記撮像モジュールの温度を取得するステップと、
   前記撮像モジュールの温度変化に対するレンズパラメータの変化を示す温度特性データを参照し、前記温度を取得するステップにおいて取得された温度に対する前記レンズパラメータの値を取得するステップと、
   取得されたレンズパラメータの値と前記画像のデータを対応づけて出力するステップと、
   を含むことを特徴とする撮像装置による画像データ出力方法。
9. 撮像モジュールにより撮影された画像のデータを取得する機能と、
   前記撮像モジュールの温度を取得する機能と、
   前記撮像モジュールの温度変化に対するレンズパラメータの変化を示す温度特性データを参照し、前記温度を取得する機能において取得された温度に対する前記レンズパラメータの値を取得する機能と、
   取得されたレンズパラメータの値と前記画像のデータを対応づけて出力する機能と、
   をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images