JP2004289548A

JP2004289548A - 画像調整装置及び頭部装着型表示装置

Info

Publication number: JP2004289548A
Application number: JP2003079758A
Authority: JP
Inventors: Taro Endo; 太郎遠藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-03-24
Filing date: 2003-03-24
Publication date: 2004-10-14

Abstract

【課題】撮影画像をＨＭＤの表示器に正しく表示させながら、小型、軽量で安価な撮像手段をＨＭＤに使用することを可能とすること。
【解決手段】画像調整装置は、校正された表示装置３０と、調整用画像データを記憶する画像データ記憶部２０３と、調整用画像データを表示装置３０に表示する画像処理回路２００と、表示装置３０の表示画面をＨＭＤ１０のカメラ１０１−１，１０１−２により撮影して表示器１００−１，１００−２に表示した表示画像を撮影する画面撮影装置１１１と、画面撮影装置１１１からの撮影画像データを入力するための画像入力部２０５と、撮影画像データと、調整用画像データとの差分をとる差分検出部２０４と、この差分に基づいて撮影画像データを補正する補正データを作成する補正データ作成部２０１と、補正データをＨＭＤ１０に送信する通信部２０２とを具備する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像調整装置及び頭部装着型表示装置（以下、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）と呼ぶ）に関するものである。
【０００２】
【従来の技術】
撮像手段としてのカメラを備えたＨＭＤは従来から知られており、例えば特開２００１−２１１４０３号公報には、観察者がＨＭＤの非装着時に視認可能な外界の画像を撮影する３つ以上のカメラを有する構成が開示されている。
【０００３】
また、特開２００３−５２０５７号公報には、左右のカメラで撮影した画像を装置内に取り込んで幾何変形手段により補正することが開示されている。
【０００４】
図１２は、カメラを備えたＨＭＤの概略構成を示す図である。図１２において、一対のカメラ１（５０１−１）、２（５０１−２）は被写体を撮影する部分であり、ＨＭＤ５０に取付けられる。ＨＭＤ５０において、画像合成回路１（５０３−１）、２（５０３−２）はそれぞれ、一対のカメラ１（５０１−１）、２（５０１−２）での撮影により取得された画像データ１，２と、外部画像信号１，２とを合成して合成画像信号１，２を生成する。表示器駆動回路５０２は合成画像信号１，２をそれぞれ一対の表示器１（５００−１）、２（５００−２）に表示させる。
【０００５】
【特許文献１】
特開２００１−２１１４０３号公報
【０００６】
【特許文献２】
【０００７】
【特開２００３−５２０５７号公報】
【０００８】
【発明が解決しようとする課題】
ところで、現実画像と仮想画像とを合成して表示可能な、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）用途のＨＭＤが提案されている。ＨＭＤは観察者の頭部または顔面に装着する必要があるため、これに使用するカメラは小型、軽量なものである必要がある。
【０００９】
しかしながら、現在、これらの条件を備えるカメラはレンズの収差が大きく、撮影した画面に発生する歪や光軸のずれが問題となっていた。また、この問題を解決するためにレンズの精度を向上させることも可能であるが、汎用の小型カメラと比較してコストがかかるという欠点がある。
【００１０】
また、実際にカメラをＨＭＤに取付けあるいは組み込む際には、個別に配置する位置に対して設計値からの誤差が発生するため、設計値どおりの正しい光軸を得ることができず、目的とする撮影画面が得られないという問題があった。
【００１１】
さらに、ＨＭＤの表示系は使用者の視軸とおおよそ一致した光軸をもつため、カメラで撮影した画像を正しく観察者に提供するためには、この表示系の光軸とカメラの光軸とがおおよそ一致している必要があり、これの精度を向上させることが課題となっていた。
【００１２】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、撮影画像をＨＭＤの表示器に正しく表示させながら、小型、軽量で安価な撮像手段をＨＭＤに使用することを可能とする画像調整装置及び頭部装着型表示装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は、被写体を撮影する撮影手段と、撮影した被写体を表示する表示器とを備えた頭部装着型表示装置に用いられる画像調整装置であって、校正された表示装置と、調整用画像データを記憶するための第１の記憶部と、前記第１の記憶部に記憶された調整用画像データを前記表示装置に表示するための画像処理回路と、前記表示装置の表示画面を前記撮影手段により撮影して前記表示器に表示した表示画像を撮影する画面撮影装置と、前記画面撮影装置から出力された撮影画像データを入力するための画像入力部と、前記画像入力部を介して入力された撮影画像データと、前記第１の記憶部に記憶された調整用画像データとを比較する比較部と、前記比較部での比較結果に基づいて、前記頭部装着型表示装置の撮影手段により撮影された画像データを補正するための補正データを作成する補正データ作成部と、前記補正データ作成部で作成された補正データを前記頭部装着型表示装置に送信する通信部とを具備する。
【００１４】
また、第２の発明は、第１の発明に係る画像調整装置において、前記通信部を介して入力された補正データを記憶するための第２の記憶部と、
前記第２の記憶部に記憶された補正データを用いて前記撮影手段により撮影された画像データを補正する補正部とを有し、前記補正部で補正された撮影画像データを前記表示器に表示して観察者の左右の眼に提供する。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明に係る補正部を備えたＨＭＤの概略構成を示すブロック図である。ここでは、現実画像と仮想画像とを合成して表示可能な、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）用途に用いられるＨＭＤ１０を想定して説明する。図１において、左右一対のカメラ１（１０１−１）、２（１０１−２）は被写体を撮影して現実画像データを取得する部分である。メモリ１０２−１、１０２−２は撮影により得られた現実画像データを一時的に記憶しておく部分である。補正部１０４−１、１０４−２はＥＥＰＲＯＭ１０５−１、１０５−２に記憶されている補正データを使用してメモリ１０２−１、１０２−２に記憶されている現実画像データを補正する部分である。ＥＥＰＲＯＭ１０５−１、１０５−２に記憶すべき補正データを作成する方法については後述する。
【００１６】
画像合成回路１（１０６−１）、２（１０６−２）は外部から入力される仮想画像としての画像信号１、２と、補正部１０４−１、１０４−２で補正された現実画像データとを合成する部分である。表示器駆動回路１０３は画像合成回路１（１０６−１）、２（１０６−２）からの合成画像信号をそれぞれ左右一対の表示器１（１００−１）、２（１００−２）に表示させる。通信部１０７は後述する画像調整装置と通信を行う部分である。
【００１７】
なお、上記したＨＭＤの構成において、カメラ１（１０１−１），２（１０１−２）、表示器１（１００−１），２（１００−２）、表示器駆動回路１０３で構成される撮影・表示系の部分と、それ以外の部分とを別体にして、撮影・表示系の部分のみを観察者の顔面に装着するようにしても良い。
【００１８】
図２は、上記した補正データを作成するためのシステム構成を示す機能ブロック図である。画像調整装置２０には、プロジェクタ、ＬＣＤ表示器等により実現される表示装置３０と、一対のカメラ１０１−１，１０１−２が搭載されたＨＭＤ１０と、ＨＭＤ画面撮影装置１１１とが取り付けられる。カメラ１０１−１，１０１−２は表示装置３０に表示された画面を撮影可能な位置に配置される。また、ＨＭＤ画面撮影装置１１１は一対のカメラ１１１−１，１１１−２を備え、ＨＭＤ１０の表示器１００−１，１００−２の画面を撮影可能な位置に配置される。
【００１９】
画像データ記憶部２０３は、カメラ１０１−１，１０１−２により撮影した画像の中心位置を補正するために用いられる調整用画像データを記憶する部分である。差分検出部２０４は画像データ記憶部２０３に記憶された調整用画像データと、画像入力部２０５から入力された現実画像データとの差分を検出する部分である。補正データ作成部２０１は差分検出部２０４で検出された差分に基づいて補正データを作成する。通信部２０２は作成された補正データをＨＭＤ１０の通信部１０７に送信する部分である。
【００２０】
なお、ＨＭＤ１０と、画像調整装置２０との間の通信は、シリアル通信（ＲＳ−２３２Ｃ）、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、Ｂｌｕｅｔｏｏｔｈ、１３９４、ＩＥＥＥ１３９４、ワイヤレス１３９４、無線ＬＡＮ、等により実現される。
【００２１】
図３は、図２で説明したシステム構成をＰＣ（パーソナルコンピュータ）で実現したときのブロック図である。ここでは図２の差分検出部２０４と補正データ作成部２０１の機能はＭＰＵ２１０で実現される。バス２０６を介して画像処理回路２００、画像データ記憶部２０３、通信部２０２、画像入力部２０５、ＭＰＵ２１０が接続されている。図３の構成は、図２で説明した画像調整装置２０と同一の作用をもつ。
【００２２】
図４は、現実画像を撮影する左右のカメラからの撮影画像データの表示中心位置とＨＭＤ表示器の中心位置とを合わせるとともに、左右の画像のサイズを揃えるための補正データを作成する手順について説明するためのフローチャートである。
【００２３】
まず、画像調整装置２０にカメラ１０１−１，１０１−２が搭載されたＨＭＤ１０を取り付ける（ステップＳ１）。ここでは、画像調整装置２０の表示装置３０の中心位置とＨＭＤ１０の右側のカメラ１０１−２の設計上の光軸位置とが一致するように取付けを行う。
【００２４】
次に、画像調整装置２０内部の画像データ記憶部２０３に記憶された調整用画像データを画像調整装置２０の表示装置３０に表示させる（ステップＳ２）。
【００２５】
次に、右側のカメラ１０１−２の画角を調整する（ステップＳ３）。ここでは、画像調整装置２０の表示装置３０がカメラ１０１−２の撮影画面に収まり、かつ、撮影画面の９０％（数値は任意）以上の範囲に表示されるように、カメラ１０１−２の画角あるいは表示装置３０までの距離を調整する。なお、表示装置３０までの距離を調整する方法を採用する場合には左右のカメラ調整で同じ距離に設定する。
【００２６】
次に、右側のカメラ１０１−２により画像調整装置２０の表示装置３０の表示画面を撮影する（ステップＳ４）。次に、撮影した表示画面を補正を行わずにそのままの状態でＨＭＤ１０の右側の表示器１００−２に表示する（ステップＳ５）。
【００２７】
次に、右側の表示器１００−２をＨＭＤ画面撮影装置１１１により撮影する（ステップＳ６）。ここで、ＨＭＤ画面撮影装置１１１の光軸は、ＨＭＤ１０の右側の表示器１００−２の光軸と一致するように校正されているものとする。あるいは、表示器１００−２の光軸が調整されている。
【００２８】
次に、ＨＭＤ画面撮影装置１１１により撮影した撮影画像データを画像入力部２０５を介して画像調整装置２０へ入力する（ステップＳ７）。次に、差分検出部（比較部）２０４は、画像調整装置２０に入力した撮影画像データと画像データ記憶部２０３に記憶されている調整用画像データとの比較を行い（ステップＳ８）、入力された撮影画像データの中心位置と、画像データ記憶部２０３に記憶された調整用画像データの中心位置とを検出し、これら２つの中心位置座標の位置の相異を差分として検出する（ステップＳ９）。次に、補正データ作成部２０１において、検出した差分データに基づいて補正データを作成する（ステップＳ１０）。より詳細には、補正後の撮影画像データ（右）の中心位置が、調整用画像データの中心位置と一致し、かつ、撮影画像データ（右）のサイズがＨＭＤ１０の右側の表示器１００−２の表示領域の９０％（数値は任意）の固定値に縮小表示されるように、撮影画像データのデータ配列を変換する補正データを作成する。
【００２９】
次に、補正データ作成部２０１で作成された補正データを、通信部２０２を介してＨＭＤ１０へ送信する。ＨＭＤ１０は、当該補正データをＥＥＰＲＯＭ１０５−１に書き込む（ステップＳ１１）。補正部１０４−１は、この補正データを右目用の撮影画像データを補正するためのデータとして用いる。
【００３０】
同様の方法により、左目用の撮影画像データを補正する補正データを作成してＥＥＰＲＯＭ１０５−２に書き込む。
【００３１】
図５は、画像データ記憶装置２０３に記憶される調整用画像データの一例を示し、３０１は中心位置を示すマーカである。図６はＨＭＤ画面撮影装置１１１により撮影されて画像調整装置２０に入力される撮影画像データを示している。図６に示すように、撮影画像データの表示中心位置３０２が調整用画像データの中心位置を示すマーカ３０１からずれていることがわかる。本発明ではこれをカメラの光軸のずれとしている。
【００３２】
図７は補正部１０４−１（または１０４−２）において補正された補正画像データを示している。図７に示すように、撮影画像データの表示中心位置３０２が調整用画像データの中心位置を示すマーカ３０１と一致するように補正されるとともに、撮影画像データが縮小されて表示器の有効画素範囲内の表示範囲に表示されていることがわかる。縮小表示することにより、中心位置を補正しても撮影した全範囲を表示することができる。
【００３３】
図８は、撮影画像データの歪を補正するための補正データを作成する手順を説明するためのフローチャートである。
【００３４】
まず、画像調整装置２０にカメラ１０１−１，１０１−２が搭載されたＨＭＤ１０を取り付ける（ステップＳ２１）。ここでは、画像調整装置２０の表示装置３０の中心位置とＨＭＤ１０の右側のカメラ１０１−２の設計上の光軸位置とが一致するように取付けを行う。
【００３５】
次に、画像調整装置２０内部の画像データ記憶部２０３に記憶された調整用画像データを画像調整装置２０の表示装置３０に表示させる（ステップＳ２２）。
歪補正のための調整用画像は、複数の測定ポイントを示すマーカが配置された画像である。
【００３６】
次に、右側のカメラ１０１−２の画角を調整する（ステップＳ２３）。ここでは、画像調整装置２０の表示装置３０がカメラ１０１−２の撮影画面に収まり、かつ、撮影画面の９０％（数値は任意）以上の範囲に表示されるように、カメラ１０１−２の画角あるいは表示装置３０までの距離を調整する。なお、表示装置３０までの距離を調整する方法を採用する場合には左右のカメラ調整で同じ距離に設定する。
【００３７】
次に、右側のカメラ１０１−２により画像調整装置２０の表示装置３０の表示画面を撮影する（ステップＳ２４）。次に、図４での処理により作成した画面の中心位置とサイズの補正に関する補正データを使用し、ＨＭＤ１０内にある補正部１０４−１にて補正を施した画像を表示させる（ステップＳ２５）。
【００３８】
次に、右側の表示器１００−２をＨＭＤ画面撮影装置１１１により撮影する（ステップＳ２６）。ここで、ＨＭＤ画面撮影装置１１１の光軸は、ＨＭＤ１０の右側の表示器１００−２の光軸と一致するように校正されているものとする。あるいは、表示器１００−２の光軸を調整してもよい。
【００３９】
次に、ＨＭＤ画面撮影装置１１１により撮影した撮影画像データを画像入力部２０５を介して画像調整装置２０へ入力する（ステップＳ２７）。次に、差分検出部２０４は、画像調整装置２０に入力された撮影画像データ中の各測定点位置と、画像データ記憶部２０３に記憶されている調整用画像データ中の各測定点位置を検出し、両者の位置情報の比較を行い（ステップＳ２８）、このときの比較結果に基づいて、各測定ポイントにおける位置情報の差分データを作成する（ステップＳ２９）。次に、補正データ作成部２０１において、図４での処理により求めた画面の中心位置とサイズの補正データと、上記の差分データとに基づいて補正データを作成する（ステップＳ３０）。より詳細には、図４で求めた画面の中心位置とサイズの補正に加えて、各測定点位置と、その近傍にある撮像素子のあるいは表示素子の画素単位における、調整用画像からの位置ずれを補正するための、撮影画像データのデータ配列を変換する補正データを作成する。
【００４０】
次に、補正データ作成部２０１で作成された補正データを、通信部２０２を介してＨＭＤ１０へ送信する。ＨＭＤ１０は、当該補正データをＥＥＰＲＯＭ１０５−１に書き込む（ステップＳ３１）。補正部１０４−１は、この補正データを右目用の撮影画像データを補正するためのデータとして用いる。
【００４１】
同様の方法により、左目用の撮影画像データを補正する補正データを作成してＥＥＰＲＯＭ１０５−２に書き込む。
【００４２】
図９は、画像データ記憶部２０３に記憶される歪補正のための調整用画像データの一例を示し、３０３は複数の測定ポイントの１つを示すマーカである。図１０はＨＭＤ画面撮影装置１１１により撮影されて画像調整装置２０に入力される撮影画像データを示している。図１０に示すように、撮影画像データの表示中心位置３０４が測定ポイントを示すマーカ３０３からずれていることがわかる。
【００４３】
図１１は補正部１０４−１（または１０４−２）において補正された補正画像データを示している。図１１に示すように、画面の中心位置とサイズの補正に加えて、撮影画像データの歪が補正されていることがわかる。
【００４４】
なお、図９の調整用画像データにある複数の測定ポイントの数を増やすことで、歪補正の精度を上げることが可能である。
【００４５】
上記した実施形態によれば、左右のカメラにより撮影して得られた撮影画像データは補正を行うようにしたので、撮影画像をＨＭＤの表示器に正しく表示させながら、小型、軽量でかつ安価なカメラをＭＲ用途のＨＭＤに使用することが可能となる。
【００４６】
【発明の効果】
本発明によれば、撮像画像データをＨＭＤの表示器に正しく表示させながら、小型、軽量で安価な撮像手段をＨＭＤに使用することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る補正手段を備えたＨＭＤの概略構成を示すブロック図である。
【図２】補正データを作成するためのシステム構成を示す機能ブロック図である。
【図３】図２で説明したシステム構成をＰＣ（パーソナルコンピュータ）で実現したときのブロック図である。
【図４】現実画像を撮影する左右のカメラからの撮影画像データの表示中心位置とＨＭＤ表示器の中心位置とを合わせるとともに、左右の画像のサイズを揃えるための補正データを作成する手順について説明するためのフローチャートである。
【図５】画像データ記憶部２０３に記憶される調整用画像データの一例を示す図である。
【図６】ＨＭＤ画面撮影装置１１１により撮影されて画像調整装置２０に入力される撮影画像データを示す図である。
【図７】補正後の撮影画像データを示す図である。
【図８】撮影画像データの歪を補正するための補正データを作成する手順を説明するためのフローチャートである。
【図９】画像データ記憶部２０３に記憶される調整用画像データの一例を示す図である。
【図１０】ＨＭＤ画面撮影装置１１１により撮影されて画像調整装置２０に入力される撮影画像データを示す図である。
【図１１】補正後の撮影画像データを示す図である。
【図１２】カメラを備えたＨＭＤの概略構成を示す図である。
【符号の説明】
１０…ＨＭＤ、３０…表示装置、１００−１，１００−２…表示器、１１１…ＨＭＤ画面撮影装置、１０１−１，１０１−２，１１１−１，１１１−２…カメラ、１０２−１，１０２−２…メモリ、１０３…表示器駆動回路、１０４−１，１０４−２…補正部、１０５−１，１０５−２…ＥＥＰＲＯＭ、１０６−１…画像合成回路１，１０６−２…画像合成回路２、１０７…通信部、２００…画像処理回路、２０１…補正データ作成部、２０２…通信部、２０３…画像データ記憶部、２０４…差分検出部、２０５…画像入力部。

Claims

被写体を撮影する撮影手段と、撮影した被写体を表示する表示器とを備えた頭部装着型表示装置に用いられる画像調整装置であって、
校正された表示装置と、
調整用画像データを記憶するための第１の記憶部と
前記第１の記憶部に記憶された調整用画像データを前記表示装置に表示するための画像処理回路と、
前記表示装置の表示画面を前記撮影手段により撮影して前記表示器に表示した表示画像を撮影する画面撮影装置と、
前記画面撮影装置から出力された撮影画像データを入力するための画像入力部と、
前記画像入力部を介して入力された撮影画像データと、前記第１の記憶部に記憶された調整用画像データとを比較する比較部と、
前記比較部での比較結果に基づいて、前記頭部装着型表示装置の撮影手段により撮影された画像データを補正するための補正データを作成する補正データ作成部と、
前記補正データ作成部で作成された補正データを前記頭部装着型表示装置に送信する通信部と、を具備することを特徴とする画像調整装置。
請求項１に記載の画像調整装置において、
前記通信部を介して入力された補正データを記憶するための第２の記憶部と、前記第２の記憶部に記憶された補正データを用いて前記撮影手段により撮影された画像データを補正する補正部と、を有し、前記補正部で補正された撮影画像データを前記表示器に表示して観察者の左右の眼に提供することを特徴とする頭部装着型表示装置。