JP2004260591A

JP2004260591A - Stereoscopic image display device

Info

Publication number: JP2004260591A
Application number: JP2003049642A
Authority: JP
Inventors: Hidehiko Okada; 英彦岡田; Seijiro Tomita; 誠次郎富田
Original assignee: Amita Technologies Inc Taiwan
Current assignee: Amita Technologies Inc Taiwan
Priority date: 2003-02-26
Filing date: 2003-02-26
Publication date: 2004-09-16

Abstract

<P>PROBLEM TO BE SOLVED: To provide a stereoscopic image display device capable of collecting information about an observation object and transmitting the information to another device. <P>SOLUTION: This stereoscopic image display device is provided with imaging devices 20 and 21, display devices 90 and 91 for displaying an image, a stereoscopic image signal processing circuit 30, and an information collecting means 100 for collecting information relating to the image photographed with the imaging devices 20 and 21. The stereoscopic image signal processing circuit 30 is provided with an image data generating means for superimposing the image on the collected information to generate image data and a transmitting means for transmitting the collected information as well as an image photographed by the imaging devices to another device. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明が属する技術分野】
本発明は電子双眼鏡に関し、特に、観察者に映像と共に該映像に関する各種情報を表示し、該映像と共に各種情報を他の電子双眼鏡に転送することができる電子双眼鏡に関する。
【０００２】
【従来の技術】
従来、光学双眼鏡等を用いて観察する場合、観察対象に対する方位や距離を計測して視野内に表示し、観察者が観察対象から目を離すことなく、該情報を知ることができるものがある。そして、電子双眼鏡は、カメラで撮影した光学的情報に、データベースからのデータとを結合して一つのイメージを完成して表示させるものが提案されている。
【０００３】
【特許文献１】
特表平９−５０５１３８号公報
【０００４】
【発明が解決しようとする課題】
しかし、このような従来の電子双眼鏡であっても、遠くの観察対象（例えば、山等）を双眼鏡を用いて観察する場合、地図などの手許の資料を参考にしながら対象を確認すると、対象を見誤ったり、方向、距離が正確に判断できないため、対象を見誤ることがあり、観察結果の信頼性を損なうことがある。
【０００５】
また、過去に観察した観察対象や、現在観察中の対象でさえ、双眼鏡から目を離すと、その位置や方向を正確かつ迅速に再現することが困難となる場合がある。特に、観察者が変わる場合や、地形や景観が変化したため、観察対象が判別できない場合や、観察する双眼鏡の映像の倍率が高倍率のため部分的な映像になり、目標の発見が困難となる。また、現在の観察中の対象の位置や方向を他の観察者に伝えたい場合には、観察を中断して、手許の資料を確認して、再び同じ対象を探す必要があり、不便であった。
【０００６】
本発明は、観察対象に関する情報を自動的に計測し、また、必要な情報を収集することによって、視野内にある山の名称や高さの情報、位置情報、対象の地図、方位、距離などのデータを観察中の視野内に、観察対象の画像に重ねて表示し、又は、これらのデータを分かりやすい位置に表示することによって、迅速かつ正確に観察することができる立体映像表示装置を提供する。また、立体映像表示装置が撮影した映像データと該映像に関連する情報と双方又は一方を他の立体映像表示装置に送信することができる立体映像表示装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
第１の発明は、右眼映像を撮影する右眼用撮影素子と左眼映像を撮影する左眼用撮影素子とによって構成され、観察対象の映像を撮影する撮影素子と、左眼映像を表示する左眼用表示素子と右眼映像を表示する右眼用表示素子とによって構成され、前記撮影素子が撮影した映像を表示する表示素子と、前記撮影素子から出力される映像信号を処理する立体映像信号処理回路と、前記撮影素子が撮影した映像に関連する情報（例えば、観察位置（緯度、経度、高度）、観察対象までの距離、観察対象の方向、観察対象の高低角等）を収集する情報収集手段と、を備える立体映像表示装置であって、前記立体映像信号処理回路は、前記撮影素子によって撮影された映像と前記収集された情報とを重畳して映像データを生成する映像データ生成手段を備え、前記撮影素子によって撮影された映像と共に前記収集された情報を、他の装置に送信可能な送信手段を備える。
【０００８】
第２の発明は、第１の発明において、他の装置から前記表示素子に表示する映像及び前記映像に関連する情報を受信する受信手段を備え、前記映像データ生成手段は、前記受信した映像と前記映像に関連する情報とを重畳して映像データを生成することを特徴とする。
【０００９】
第３の発明は、第２の発明において、前記撮影素子によって撮影された映像及び前記収集された情報を記憶する記憶手段を有し、前記送信手段は、前記記憶手段に記憶された映像と共に前記記憶手段に記憶された前記収集された情報を送信することを特徴とする。
【００１０】
第４の発明は、第３の発明において、前記送信手段は、映像を要求する映像要求信号を他の立体映像表示装置に送信し、前記受信手段は、前記映像要求信号に応答して、前記他の立体映像表示装置から送信された、前記撮影素子によって撮影された映像又は前記記憶手段に記憶されている映像を受信し、前記立体映像信号処理回路は、前記受信した映像を前記表示素子に表示可能な信号に処理することを特徴とする。
【００１１】
第５の発明は、第１から第４の発明において、観察者が操作する操作部を備え、前記記憶手段には、前記撮影素子によって撮影された映像中の、観察者が指定した指定場所を記憶し、前記映像データ生成手段は、前記撮影素子によって撮影された映像と前記指定場所を示す情報とを重畳して映像データを生成することを特徴とする。
【００１２】
第６の発明は、第１から第５の発明において、前記指定場所が前記表示素子の表示領域外となった場合（例えば、高倍率にすることによって表示領域から外れたり、観察方向を動かすことにより外れる場合）に、前記指定場所と前記表示領域との位置関係を報知する報知手段を備えることを特徴とする。
【００１３】
第７の発明は、第１から第６の発明において、前記立体映像信号処理回路は、前記撮影された右眼映像と左眼映像とのクロスポイントより遠方にある画像をぼかすように映像信号を処理することを特徴とする。
【００１４】
第８の発明は、第７の発明において、前記立体映像信号処理回路は、前記撮影された映像の画像要素を抽出し、右眼映像と左眼映像との視差を求めて、該画像要素がクロスポイントより遠方にあるか否かを判定し、該画像要素がクロスポイントより遠方にあると判定されたときは、該画像要素の輪郭をぼかす処理をすることを特徴とする。
【００１５】
【発明の作用および効果】
本発明では、右眼映像を撮影する右眼用撮影素子と左眼映像を撮影する左眼用撮影素子とによって構成され、観察対象の映像を撮影する撮影素子と、左眼映像を表示する左眼用表示素子と右眼映像を表示する右眼用表示素子とによって構成され、前記撮影素子が撮影した映像を表示する表示素子と、前記撮影素子から出力される映像信号を処理する立体映像信号処理回路と、前記撮影素子が撮影した映像に関連する情報を収集する情報収集手段と、を備える立体映像表示装置であって、前記立体映像信号処理回路は、前記撮影素子によって撮影された映像と前記収集された情報とを重畳して映像データを生成する映像データ生成手段を備え、前記撮影素子によって撮影された映像と共に前記収集された情報を、他の装置に送信可能な送信手段を備えるので、観察を中断することなく、観察対象の位置、距離、高度、方位等を知ることができ、コンピュータグラフックス画像等の重畳表示によって、より正確で迅速に観察対象を確認することができる。また、撮影素子が撮影した映像と共に該撮影した映像に関連する情報を、他の装置に転送するので、迅速かつ容易に目標を発見することができる。
【００１６】
また、第５の発明では、観察者が操作する操作部を備え、前記記憶手段には、前記撮影素子によって撮影された映像中の、観察者が指定した指定場所を記憶し、前記映像データ生成手段は、前記撮影素子によって撮影された映像と前記指定場所を示す情報とを重畳して映像データを生成するので、観察中の映像に過去に観察目標として指定された情報を重ねて表示することで、過去に観察した対象を迅速に見つけることができる。
【００１７】
また、第６の発明では、前記指定場所が前記表示素子の表示領域外となった場合に、前記指定場所と前記表示領域との位置関係を報知する報知手段を備える。すなわち、表示領域外となった目標の方向を示す指示（例えば、矢印等）を表示することにより、観察目標を容易に見つけることができる。
【００１８】
また、第７の発明では、前記立体映像信号処理回路は、前記撮影された右眼映像と左眼映像とのクロスポイントより遠方にある画像をぼかすように映像信号を処理し、第８の発明では、前記立体映像信号処理回路は、前記撮影された映像の画像要素を抽出し、右眼映像と左眼映像との視差を求めて、該画像要素がクロスポイントより遠方にあるか否かを判定し、該画像要素がクロスポイントより遠方にあると判定されたときは、該画像要素の輪郭をぼかす処理をするので、クロスポイントより前方にある映像を立体視しやすくし、物体をより自然に見せることができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面に基づいて説明する。
【００２０】
図１は、本発明の実施の形態の立体映像表示装置の一例である電子双眼鏡の構成を示すブロック図である。
【００２１】
本発明の実施の形態の立体映像表示装置は、観察対象の映像を撮影し、該映像を表示する立体双眼鏡部１と、立体双眼鏡部１（信号処理回路３０）を制御し、撮影した映像に重畳させて表示する情報を生成する計測制御部２とから構成されている。
【００２２】
立体双眼鏡部１には、光学レンズを有する右光学系１０と、右光学系１０で収集した映像を電気信号に変換する右眼用撮影素子（ＣＣＤ）２０とが設けられている。同様に、光学レンズを有する左光学系１１と、左光学系１１で収集した映像を電気信号に変換する左眼用撮影素子（ＣＣＤ）２１とが設けられている。すなわち、二つの光学系と、二つの撮影素子を有し、二つの映像（右眼映像と左眼映像）を同時に撮影する。
【００２３】
右眼用撮影素子（ＣＣＤ）２０及び左眼用撮影素子（ＣＣＤ）２１によって撮影した映像信号は映像信号処理回路３０に入力され、映像信号処理回路３０によって処理されて、右眼用表示素子（ＬＣＤ）９０と左眼用表示素子（ＬＣＤ）９１に対して出力される。そして、右眼用表示素子（ＬＣＤ）９０と左眼用表示素子（ＬＣＤ）９１に表示された立体映像は、各々右光学系１２、左光学系１３を介して観察者によって観察がされる。
【００２４】
すなわち、映像は左右の光学系１０、１１介して、ＣＣＤ２０、２１によって電気信号に変換された後、映像信号処理回路３０内のフレームメモリ３１、３２に取り込まれる。そして、フレームメモリ３１、３２に記憶された映像はＬＣＤ９０、９１に表示され、使用者はこの映像を左右光学系１２、１３によって観察することができる。
【００２５】
右光学系１０及び左光学系１１にはオートフォーカス機能が備わっている。このオートフォーカス機能は、撮影素子２０、２１で撮影した映像信号の位相差を映像信号処理回路３０によって検出して、光学系１０、１１を駆動して合焦させる位相差方式によって実現される。
【００２６】
また、撮影素子２０、２１には装着している光学フィルタの透過特性を変化させる（例えば、赤外除去フィルタを機械的に取り外す）ことによって、赤外線映像を観察することができるように構成されている。
【００２７】
また、映像信号処理回路３０には、撮影素子２０、２１からの信号の読み出し位置を振動センサ（図示省略）からの信号によって制御する手ぶれ防止機能が設けられている。
【００２８】
このように本発明の立体映像表示装置の、通常の双眼鏡と同様に観察対象の映像を使用者に提供することができる。さらに本発明の立体映像表示装置は、後述するように各種測定ユニット（ＧＰＳユニット１１０、測距ユニット１２０等）を用いて観察対象の認識に役立つ情報を観察者に提供することができる。
【００２９】
計測制御部２には、立体映像表示装置の全体の動作を制御する制御部（マイクロコンピュータ）１００が設けられている。マイクロコンピュータ１００内にはＣＰＵ、ＲＯＭ、ＲＡＭ（内部メモリ）１０１が設けられている。内部メモリ１０１は、その動作時にワークエリアとして使用される他、映像信号や映像信号に重畳して表示をする情報を一時的に記憶している。
【００３０】
マイクロコンピュータ１００には、測定ユニット（ＧＰＳユニット１１０、測距ユニット１２０、方位計測ユニット１３０、角度計測ユニット１４０及び高度計測ユニット１５０）が接続されている。ＧＰＳユニット１１０は、ＧＰＳ衛星からの電波を受信して、観察地点の位置（緯度、経度）を計算して位置情報を得る。測距ユニット１２０は、観察対象の左右の映像の視差を用いて、観察対象までの距離を得る。なお、レーザー発光部、レーザー受光部及び遅延時間測定部を設け、レーザー測距によって観察対象までの距離を得てもよい。方位計測ユニット１３０は、磁気方位センサを使用した電気式コンパスによって地磁気を測定して北の方向を得て、観察対象の方向（方位）を得る。角度計測ユニット１４０は、角度センサによって立体映像表示装置の傾きを測定し、観察位置から観察対象の仰角（高低角）を得る。高度計測ユニット１５０は、半導体圧力センサによって気圧を測定して、基準高度の気圧との差によって観察点の標高を得る。なお、観察点の標高をＧＰＳユニット１１０から得た位置情報からジオイド高補正をすることによって標高を求めてもよく、ＧＰＳユニット１１０から得た標高を用いて気圧高度計を補正してもよい。
【００３１】
マイクロコンピュータ１００は、操作部１６０の指示に従って、ＧＰＳユニット１１０に位置計測を指示し、観察位置のデータを得る。また、測距ユニット１２０に距離測定を指示し、観察位置から観察対象までの距離データを得る。また、方位計測ユニット１３０に方位計測を指示し、観察対象の方位データを得る。また、角度計測ユニット１４０に角度測定を指示し、観察対象の仰角（又は俯角）のデータを得る。また、高度計測ユニット１５０に標高測定を指示し、観察位置の標高データを得る。マイクロコンピュータ１００は、これらの測定データを数値データとして又は画像データに加工して、映像信号処理回路３０に送りＬＣＤ９０、９１に表示して、観察者の視野内にこれらのデータが表示される。そして、これらの測定データは、映像データ及び撮影データ（撮影日時、撮影レンズの焦点距離（倍率）等）と共に内部メモリ１０１や記憶媒体１７０に記憶される。
【００３２】
また、マイクロコンピュータ１００はＧＰＳユニット１１０から得られた位置情報と、方位計測ユニット１３０から得られた方位データによって、内部メモリ１０１又は記憶媒体１７０に保管されている観察位置の地図データから景観図データを作成し、方位データ及び仰角データを用いて再構成して、この景観図データを映像信号処理回路３０に送り、観察対象の映像に重畳して（又は、視野の一部に）表示して、観察対象の認識を容易にする。この景観図データは、輪郭だけの線画のコンピュータグラフイックス又は半透明の映像に変換されて、観察対象の視認を妨げないように重畳表示する。このとき、観察対象の認識に役立つデータ（例えば、山の名前、高さ、登山ルート、周辺の地名、図上の位置等）を同時に表示する。
【００３３】
マイクロコンピュータ１００から景観図データを受けた映像信号処理回路３０は、作成された景観図データ（コンピュータグラフィックス画像）と観察対象の映像と特徴点を比較、計算し、景観図データの倍率を調整して、両者を合成した映像をフレームメモリ３１、３２に書き込み、ＬＣＤ９０、９１に表示する。
【００３４】
この実際の観察対象の映像とコンピュータグラフィックス画像との合成図は、実際の映像に説明のための注釈を線画やアニメーションや文字によって書き込んだような画像となり、観察者の観察対象の認識を助ける。
【００３５】
なお、景観図データを観察対象の映像に重畳するのではなく、視野の一部にデータ表示領域を設け、該データ表示領域に表示してもよい。
【００３６】
また、マイクロコンピュータ１００には操作部１６０が接続されており、観察者によって操作され、観察者の操作の結果がマイクロコンピュータ１００に入力される。さらに、マイクロコンピュータ１００には、ハードディスクによって構成される大容量の記憶媒体１７０が接続されており、立体映像表示装置の動作に必要なデータが記憶されている他、地図や景観図等のデータが記憶されている。なお、記憶媒体１７０には、常時ある程度の地図データが記憶されているが、観察中に又は観察前に外部データベース２１０から通信インターフェース１９０を介して読み出された地図、景観図等のデータを記憶することができる。
【００３７】
また、フレームメモリ３１、３２に記憶された立体映像データは、操作部６０からの指令に基づいて、静止画像又は動画像として記憶媒体１７０に記憶することができる。また、通信インターフェース１９０を介して外部データベース２１０に記憶することもできる。この立体映像データと共に、該映像データに関連する地図、景観図等のデータや、測定ユニットから得た測定データを記憶することができる。
【００３８】
さらに、マイクロコンピュータ１００には外部インターフェース（外部Ｉ／Ｆ）１８０が接続されており、立体映像表示装置に接続された外部記憶媒体（フラッシュメモリ）２００へ情報を入出力する。さらに、マイクロコンピュータ１００には通信インターフェース（通信Ｉ／Ｆ）１９０が接続されており、赤外線又は無線等の通信方法によって外部のデータベース（外部ＤＢ）２１０と通信を行うことができる通信手段が構成されている。この外部データベース２１０として地図情報を記憶したデータベースを用いると、立体映像表示装置内部に地図情報を記憶しておかなくてもよく、記憶媒体１７０の記憶容量を削減することができる。この外部データベース２１０とのデータの送受信は、上記方法以外に、記憶媒体１７０を取り外して、外部データベース２１０に直接接続することによって、地図情報等を外部データベース２１０から記憶媒体１７０に書き込むこともできる。
【００３９】
また、通信インターフェース１９０は、他の立体映像表示装置（電子双眼鏡）と通信を行うことができ、現在観察中の映像を送受信することができる。また、お互いの内部メモリ１０１又は記憶媒体１７０に記憶している画像情報、地図、景観図等のデータ、測定データを送受信することができる。
【００４０】
次に、本発明の実施の形態の立体映像表示装置の動作について説明する。
【００４１】
図２は、本発明の実施の形態の立体映像表示装置の映像データを記憶する処理を説明するシーケンス図である。
【００４２】
操作部１６０に映像データ記憶操作がされると、その指令信号はマイクロコンピュータ１００に送られる（Ｓ１０１）。そして、マイクロコンピュータ１００は、映像信号処理回路３０のフレームメモリ３１、３２にアクセスして（Ｓ１０２）、フレームメモリ３１、３２から左眼映像データ及び右眼映像データを読み出す（Ｓ１０３）。そして、マイクロコンピュータ１００は、左眼映像データ及び右眼映像データを、マイクロコンピュータの内部メモリ１０１に記憶する（Ｓ１０４）。その際、マイクロコンピュータ１００（又は、画像圧縮回路の専用回路）によってＪＰＥＧ等の圧縮をし、データ量を減らすことも可能である。
【００４３】
また、操作部１６０の操作による設定によって、内部メモリ１０１を介さずに、マイクロコンピュータ１００に接続されている記憶媒体１７０に、左眼映像データ及び右眼映像データを記憶することもできる（Ｓ１０５）。
【００４４】
また、操作部１６０の操作による設定によっては、内部メモリ１０１を介さずに、左眼映像データ及び右眼映像データが外部インターフェース１８０に送られ、外部インターフェース１８０から出力された左眼映像データ及び右眼映像データを、外部記憶媒体２００に記憶することができる（Ｓ１０６）。
【００４５】
また、操作部１６０の操作によって、内部メモリ１０１から記憶媒体１７０や外部記憶媒体２００に映像データを移動することもできる（Ｓ１０７）。
【００４６】
図３は、本発明の実施の形態の立体映像表示装置の映像データと共にデータを表示する処理を説明するシーケンス図である。
【００４７】
操作部１６０にデータ表示操作がされると、その指令信号はマイクロコンピュータ１００に送られる（Ｓ１１１）。そして、マイクロコンピュータ１００は表示するデータの種類を選択して、該当する測定ユニットから該映像データに関連するデータを取得し、該映像データと共に表示をする。すなわち、操作者が現在位置データを要求したら、ＧＰＳユニット１１０に現在位置データ要求信号を送信する（Ｓ１１２）。ＧＰＳユニット１１０は、ＧＰＳ衛星からの電波を受信して得た位置情報をマイクロコンピュータ１００に送る（Ｓ１１３）。
【００４８】
また、操作者が、現在の観察対象までの距離データを要求したら、測距ユニット１２０に距離データ要求信号を送信する（Ｓ１１４）。測距ユニット１２０は、該対象物が左右眼映像で撮影される角度差を測定する三角法又は赤外レーザ光パルスによるレーザー測距法によって、観察対象までの距離を得て、マイクロコンピュータ１００に送る（Ｓ１１５）。同様に、観察対象の方位、観察対象の角度（仰角、俯角）、観察位置の高度（高さ）も計測してもよい。
【００４９】
そして、マイクロコンピュータ１００は、ＧＰＳユニット１１０及び測距ユニット１２０から得たデータに基づいて映像、文字による表示データを生成し、映像信号処理回路３０のフレームメモリ３１、３２に書き込んで（Ｓ１１６）、現在位置データ及び観察対象までの距離データを表示する。このとき、測距ユニット１２０から得た距離データを映像信号処理回路３０に送信して、現在の観察対象より後方にある映像を選択してぼかす画像処理を行って、ＬＣＤ９０、９１に表示するとよい。この後方映像ぼかし機能によって、観察対象の立体的な観察が容易になり、観察対象を正確に把握することができるようになる。
【００５０】
また、左右の視線のクロスポイントより背景にある観察映像は立体感が強調されすぎるため、継続的に観察することは疲労の原因となるので、クロスポイントより遠方にある背景の映像を自動的にぼかすことによって継続的観察を行っても、観察者が疲れにくいようにすることができる。
【００５１】
具体的には、観察中の映像から画像要素（又は画像要素の輪郭）を抽出し、左右眼映像の位置の差を計算することによって、物体毎に視差を求める。そして、クロスポイントの後方にある物体の画像は視差が逆方向になるので、逆相となる画像要素の輪郭をぼかすことによって、クロスポイントより遠方にある映像をぼかして表示する。
【００５２】
クロスポイントより遠方の映像は視差量が大きくなることが多いため、最大視差量を与える映像が遠方の画像となり、観察対象付近において立体視しにくい問題が生じる。しかし、クロスポイントより遠方にある背景の映像をぼかすことによって、立体を見やすくし、前方にある物体をより自然に見せる効果を生じる。
【００５３】
そして、画像データと共に、該観察対象の映像に関連する測定データを内部メモリ１０１（又は、記憶媒体１７０、外部記憶媒体２００）に転送して記憶保管される（Ｓ１１７）。この測定データは、該データを映像化して、該映像化された測定データを含んだ画像データとして保存しても、画像のヘッダー部に属性データとして保存してもよい。このように、測定データをヘッダー部に保存すると、記憶された画像データや測定データを別々に利用することができる。
【００５４】
図４は、本発明の実施の形態の立体映像表示装置の映像データと共に地図データを表示する処理を説明するシーケンス図である。
【００５５】
操作部１６０に地図表示操作がされると、その指令信号はマイクロコンピュータ１００に送られる（Ｓ１２１）。そして、マイクロコンピュータ１００は、ＧＰＳユニット１１０から得た現在位置のデータに対応する地図データが記憶媒体１７０に記憶されていないかを検索し（Ｓ１２２）、所望の地図データが記憶されていれば、該地図データを読み出す（Ｓ１２３）。この地図データは、緯度経度と関連づけられた特定のサイズの画像情報として記憶されているので、現在地の緯度経度から必要な地図データを検索する。
【００５６】
一方、所望の地図データが記憶されていなければ、マイクロコンピュータ１００は、現在位置の位置データを通信インターフェース１８０を介して外部データベース２１０に送り、外部データベース２１０に対して地図データを要求する（Ｓ１２２）。そして、必要な地図データの転送を受けて（Ｓ１２５）、該地図データを内部メモリ１０１に記憶する（Ｓ１２６）。
【００５７】
そして、マイクロコンピュータ１００は、受信した地図データに基づいて映像データを生成し、映像信号処理回路３０のフレームメモリ３１、３２に書き込んで（Ｓ１２７）、観察対象の映像データと地図データとを合成して、両者を重ね合わせて表示する。
【００５８】
この観察対象の映像データと地図データとの合成は、地図データ内に含まれている等高線データを画像データに変換し、この等高線データを内部メモリ１０１内部で立体空間として再構成し、その表面に三角面で構成されるポリゴンを貼り付けることにより三次元コンピュータグラフィクスモデルを生成する。このモデルの表面にテクスチャーマッピング処理をして実物の地形の表面を再現し、さらにレンダリング処理によって色、光の反射、奥行き感等を再現する。これらの処理はマイクロコンピュータ１００のＣＰＵによって処理されるが、グラフィクスコントローラのような三次元グラフィクス専用のハードウェアによって処理することもできる。
【００５９】
図５は、本発明の実施の形態の立体映像表示装置の映像データを他の立体映像表示装置（電子双眼鏡）に送信する処理を説明するシーケンス図である。
【００６０】
操作部１６０にデータ送信操作がされると、その指令信号はマイクロコンピュータ１００に送られる（Ｓ１３１）。そして、マイクロコンピュータ１００は、映像信号処理回路３０のフレームメモリ３１、３２にアクセスして（Ｓ１３２）、フレームメモリ３１、３２から、現在観察中の対象の左眼映像データ及び右眼映像データを読み出す（Ｓ１３３）。また、同様に、操作ボタンの指示によって、内部メモリ１０１や記憶媒体１７０に記憶されている映像データ及び該映像データに関連する測定データを読み出して、後述する処理によって、他の立体映像表示装置に送信することも可能である。
【００６１】
その後、マイクロコンピュータ１００は、内部メモリ１０１にアクセスして（Ｓ１３４）、内部メモリ１０１から現在位置データ及び距離データ等の観察対象の映像データに関連する測定データを読み出す（Ｓ１３５）。
【００６２】
そして、マイクロコンピュータ１００は、左眼映像データ、右眼映像データ及び該映像データに関連する測定データを通信インターフェース１９０に送って（Ｓ１３６）、映像データ及び関連する測定データを、他の立体映像表示装置に送信する。
【００６３】
図６は、本発明の実施の形態の立体映像表示装置の、他の立体映像表示装置（電子双眼鏡）から送信された映像データを表示する処理を説明するシーケンス図である。
【００６４】
他の立体映像表示装置から映像データが送信され、通信インターフェース１９０に着信すると、該データはマイクロコンピュータ１００に送られる（Ｓ１４１）。この通信インターフェース１９０を介して受信されるデータには、左眼映像データ及び右眼映像データの他に該映像データに関連する測定データが含まれている。
【００６５】
そして、マイクロコンピュータ１００は、受信した映像データ及び該映像データに関連する測定データを記憶媒体１７０に書き込む（Ｓ１４２）。
【００６６】
操作部１６０にデータ読出操作がされると、その指令信号はマイクロコンピュータ１００に送られる（Ｓ１４３）。そして、マイクロコンピュータ１００は、記憶媒体１７０にアクセスして（Ｓ１４４）、記憶媒体１７０から、映像データ及び該映像データに関連する測定データを読み出して（Ｓ１４５）、映像信号処理回路３０のフレームメモリ３１、３２に書き込んで（Ｓ１４６）、受信した映像データ関連する測定データと共に表示する。
【００６７】
図７は、本発明の実施の形態の立体映像表示装置のマーキングデータを他の立体映像表示装置（電子双眼鏡）に送信する処理を説明するシーケンス図である。
【００６８】
操作部１６０にデータ送信操作がされると、その指令信号はマイクロコンピュータ１００に送られる（Ｓ１５１）。そして、マイクロコンピュータ１００は、記憶媒体１７０にアクセスして（Ｓ１５２）、記憶媒体１７０から、転送するマーキングデータ及びマーキングに関連する測定データを読み出す（Ｓ１５３）。このとき、操作ボタンの指示によって、記憶媒体１７０に記憶されている転送するマーキングデータを選択することも可能である。
【００６９】
そして、マイクロコンピュータ１００は、左眼映像データ、右眼映像データ及び該映像データに関連する測定データを通信インターフェース１９０に送って（Ｓ１５４）、映像データ及び関連する測定データを、他の立体映像表示装置に送信する。
【００７０】
図８は、本発明の実施の形態の立体映像表示装置の、他の立体映像表示装置（電子双眼鏡）から送信されたマーキングデータを表示する処理を説明するシーケンス図である。
【００７１】
他の立体映像表示装置からマーキングデータが送信され、通信インターフェース１９０に着信すると、該データはマイクロコンピュータ１００に送られる（Ｓ１６１）。この通信インターフェース１９０を介して受信されるデータは、マーキングがされた場所の位置情報の他、マーキングに関連する測定データが含まれている。
【００７２】
そして、マイクロコンピュータ１００は、受信したマーキングデータを記憶媒体１７０に書き込む（Ｓ１６２）。そして、マイクロコンピュータ１００は、ＧＰＳユニット１１０によって得られる現在位置を該マーキングデータとの関連を調べ、該マーキングが現在観察中の映像に重畳して表示することができるか否かを判定する。
【００７３】
そして、受信したマーキングデータが現在観察中の映像に重畳して表示することができる場合には、現映像データにマーキングデータを重畳した映像データを生成する。一方、受信したマーキングデータが現在観察中の映像に重畳して表示することができない場合は、映像データの周辺部に表示される矢印４００によって、観察中の現映像とマーキングとの関係を表示する。
【００７４】
この矢印表示４００は、現映像とマーキング位置とを比較した結果、現在の視線を中心とした８方向（上下左右の４方向及びそれらの間）で表す。すなわち、丸剤観察中の画像の中心（視線）方向と、マーキング位置との差を求める。そして、その差分が、現在観察中の画像の視野角に含まれるか否かを判定する。この視野角は右光学系１０及び左光学系１１によるズーム若しくは映像信号処理回路３０によるデジタルズームの倍率を計算することによって得られる。
【００７５】
なお、マーキング位置を観察中の画像の中心（視線）方向と比較するのではなく、ブライトフレーム位置と比較して矢印４００を表示してもよい。
【００７６】
また、観察中の画像内にマーキング５００が表示される位置まで近づいたら、又は、マーキング５００とブライトフレーム２００とが重なる位置になったら、矢印表示を消すと便利である。
【００７７】
図９は、本発明の実施の形態の立体映像表示装置の映像データの表示例を説明する図である。
【００７８】
表示素子９０、９１の表示画面中央には、観察中の対象の映像が表示されている。この映像は、左眼映像と右眼映像とが異なる表示素子に、左右眼映像が視差をもって表示され、立体像が再生される。
【００７９】
この観察対象の映像データには、ブライトフレーム２００が重畳して表示されている。ブライトフレーム２００は、操作部１６０に設けられた方向キーによって、映像データにおける位置を動かすことができる。すなわち、観察者は、操作部１６０の方向キーを操作して、映像データの観測対象に重ね合わせる。そして、操作部１６０に設けられた決定キーの操作することによって、ブライトフレーム２００が固定され、ブライトフレーム２００の色が変わり、その位置にマーキング５００をすることができる。また、マーキングされた位置のデータが内部メモリ１０１及び／又は記録媒体１７０に保存される。
【００８０】
また、ブライトフレーム２００が捉えた映像データの場所に対して、測距ユニット１２０によって観測点からの距離を測定したり、方位計測ユニット１３０によって観測点からの距離を測定したり、角度測定装置１４０によって観測点からの角度を測定したりする。また、ブライトフレーム２００が捉えた対象までの距離、方位、角度及びＧＰＳユニット１１０によって得た観測点の位置情報によって、ブライトフレーム２００が捉えた対象の位置を計算する。
【００８１】
このマーキング５００に関しては、内部メモリ１０１又は記憶媒体１７０に、マーキングされた映像と、マーキングされた地図（又は等高線データ）が保存されており、どちらも任意に読み出してマーキング５００と共に表示することができる。また、マーキングされた情報を検索して、現在表示中の映像データに、該読み出した複数のマーキングを重畳して表示することもできる。また、マーキングに対応して保存された映像を読み出して表示することもできる。
【００８２】
また、電子双眼鏡の起動時（電源投入時）に、ＧＰＳユニット１１０によって現在位置を得て、関連するマーキングを検索して、現在の観察映像に現在位置に関連するマーキング５００を表示するようにしてもよい。
【００８３】
マーキングされた地図（等高線図）からは、マーキングされたコンピュータグラフィックスによる景観図を合成することができる。この景観図には過去にマーキングされた観察対象が記録されており、その位置を俯瞰して見ることができる。
【００８４】
さらに、操作部１６０の操作によって、表示されている任意の観察目標（マーキング）を選択すると、過去に観察された観察目標の映像と関連データを、記憶媒体１７０又は内部メモリ１０１から読み出してＬＣＤ９０、９１に表示することができる。
【００８５】
このとき、読み出された観察目標の位置データと、現在の観察対象とを、マイクロコンピュータ１００によって比較計算して（位置、方向、高低角、高度等を比較して）、立体映像表示装置を移動すべき方向を矢印表示４００によって、観察対象の映像データの表示領域外の左上部に表示する。
【００８６】
なお、マーキング映像は、他の立体映像表示装置との間の通信によって（図５、図６）、相互の送受信することができるようになっている。よって、観察対象を正確に他の観察者に伝え、マーキング箇所との位置関係を示すことによって他の観察者を目的とする観察対象に導くことができる。
【００８７】
さらに、この観察対象の映像データの表示領域外の左上部には、観察対象が視野を外れたときにどちらの方向に視野を動かすべきかを指示する矢印表示４００がされる。例えば、光学系１０、１１のズーム機能を用いて観察対象を拡大して表示する場合、マーキングされた観察対象が視野（表示領域）から外れた場合に、マーキング時に得られた位置、方位、角度等のデータと、ズームアップ時の位置、方位、角度等のデータとをマイクロコンピュータ１００によって比較計算し、視野内から観察対象が外れた場合、修正すべき方向を矢印表示４００で表示して、その方向への視野の移動を誘導することによって、ズームアップされた観察対象を視野（表示領域）内に捉えることができる。
【００８８】
また、ＧＰＳユニット１１０から得た現在地の位置データ（緯度、経度）及び高度計測ユニット１５０から得た標高データが、観察対象の映像データの表示領域外の中央上部に表示される。また、外部データベース２１０から得た該地図データが、観察対象の映像データの表示領域外の左上部に表示される。測距ユニット１２０から得た距離情報及び角度計測ユニット１４０から得た高低角のデータから計算された高度差が、表示領域外の右上部に表示される。
【００８９】
本発明の実施の形態では、観察対象の映像を撮影する撮影素子（右眼用ＣＣＤ２０及び左眼用ＣＣＤ２１）と、前記撮影素子が撮影した映像を表示する表示素子（右眼用ＬＣＤ９０及び左眼用ＬＣＤ９１）と、前記撮影素子から出力される映像信号を前記表示素子に表示可能な信号に処理する立体映像信号処理回路３０とを備え、前記撮影素子が撮影した映像に関連する情報を取得する測定ユニット（ＧＰＳユニット１１０、測距ユニット１２０、方位計測ユニット１３０、角度計測ユニット１４０及び高度計測ユニット１５０）と、前記測定ユニットから測定データを収集する情報収集手段をマイクロコンピュータ１００によって構成した立体映像表示装置であって、立体映像信号処理回路３０は、前記撮影素子によって撮影された映像と前記測定データとを重畳して映像データを生成する映像データ生成手段を備え、前記撮影素子によって撮影された映像と共に前記収集された情報を、他の装置に送信可能な送信手段を備えるので、観察を中断することなく、観察対象の位置、距離、高度、方位等を知ることができ、コンピュータグラフックス画像等の重畳表示によって、より正確で迅速な観察対象を確認することができる。また、他の装置に撮影素子が撮影した映像と共に該撮影した映像に関連する情報を転送するので、迅速かつ容易に目標を発見することができる。
【００９０】
さらに、観察者に単に映像以上の情報、たとえば、観察中の山のルートや危険な箇所、休憩所などの位置等を記憶媒体より読み出したコンピュータグラフィック等の映像を用いて、視野内の映像に重ねて表示することができるので、有用な観察手段を提供することができる。
【００９１】
もちろん、都市部での観察においては建物や建造物、道路や橋の名称とその地図、観察位置からの距離や方位等を、観察映像と重ねて表示するように構成してもよい。
【図面の簡単な説明】
【図１】本発明の実施の形態の立体映像表示装置の構成を示すブロック図である。
【図２】本発明の実施の形態の立体映像表示装置の映像データを記憶する処理のシーケンス図である。
【図３】本発明の実施の形態の立体映像表示装置の映像データと共にデータを表示する処理のシーケンス図である。
【図４】本発明の実施の形態の立体映像表示装置の映像データと共に地図データを表示する処理をシーケンス図である。
【図５】本発明の実施の形態の立体映像表示装置の映像データを他の立体映像表示装置に送信する処理のシーケンス図である。
【図６】本発明の実施の形態の立体映像表示装置の他の立体映像表示装置から送信された映像データを表示する処理のシーケンス図である。
【図７】本発明の実施の形態の立体映像表示装置のマーキングデータを他の立体映像表示装置に送信する処理のシーケンス図である。
【図８】本発明の実施の形態の立体映像表示装置の他の立体映像表示装置から送信されたマーキングデータを表示する処理のシーケンス図である。
【図９】本発明の実施の形態の立体映像表示装置の映像データの表示例の説明図である。
【符号の説明】
１０右光学系（撮影側）
１１左光学系（撮影側）
１２右光学系（表示側）
１３左光学系（表示側）
２０右眼用撮影素子（ＣＣＤ）
２１左眼用撮影素子（ＣＣＤ）
３０映像信号処理回路
３１右フレームメモリ
３２左フレームメモリ
１００マイクロコンピュータ
１０１内部メモリ
１１０ＧＰＳユニット
１２０測距ユニット
１３０方位計測ユニット
１４０角度計測ユニット
１５０高度計測ユニット
１６０操作部
１７０記憶媒体
１８０外部インターフェース
１９０通信インターフェース
２００外部メモリ
２１０外部データベース[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to electronic binoculars, and more particularly, to electronic binoculars that can display various information related to an image together with an image to an observer and transfer the various information together with the image to other electronic binoculars.
[0002]
[Prior art]
Conventionally, when observing using optical binoculars or the like, there is a type in which the azimuth and distance to the observation target are measured and displayed in the field of view, and the information can be known without the observer taking his / her eyes away from the observation target. . Electronic binoculars have been proposed that combine optical information captured by a camera with data from a database to complete and display one image.
[0003]
[Patent Document 1]
Japanese Patent Publication No. 9-505138
[0004]
[Problems to be solved by the invention]
However, even with such conventional electronic binoculars, when observing a distant object to be observed (for example, a mountain) using the binoculars, if the object is checked with reference to a document such as a map, the object is identified. Since the user may misidentify or cannot accurately determine the direction and distance, the object may be misidentified and the reliability of the observation result may be impaired.
[0005]
Further, even if the observation target observed in the past or the object currently being observed is turned away from the binoculars, it may be difficult to accurately and quickly reproduce the position and direction thereof. In particular, when the observer changes, or when the terrain or landscape changes, the observation target cannot be determined, or the magnification of the image of the observed binoculars becomes a partial image due to high magnification, making it difficult to find the target. . Also, if you want to inform the other observers of the position and direction of the object you are currently observing, you need to stop the observation, check the materials on hand, and search for the same object again, which is inconvenient. Was.
[0006]
The present invention automatically measures information on an observation target and collects necessary information, thereby obtaining information on a name and a height of a mountain in a field of view, position information, a map of a target, a direction, a distance, and the like. A 3D image display device that enables quick and accurate observation by displaying the data of the observation object in the field of view under observation, superimposed on the image of the observation target, or by displaying these data at an easy-to-understand position. I do. It is another object of the present invention to provide a stereoscopic video display device that can transmit video data captured by a stereoscopic video display device and / or information related to the video to another stereoscopic video display device.
[0007]
[Means for Solving the Problems]
A first invention includes a right-eye imaging element for capturing a right-eye image and a left-eye imaging element for capturing a left-eye image, and displays an imaging element for capturing an image of an observation target and a left-eye image. A display element for displaying an image captured by the imaging element, and a stereoscopic element for processing a video signal output from the imaging element. A video signal processing circuit and information related to the video imaged by the imaging device (eg, observation position (latitude, longitude, altitude), distance to the observation target, direction of the observation target, elevation angle of the observation target, etc.) are collected. A stereoscopic video display device comprising: a stereoscopic video signal processing circuit, wherein the stereoscopic video signal processing circuit generates video data by superimposing a video captured by the imaging device and the collected information. Generation means Provided, the information said collection with images captured by the imaging device includes a transmission unit that can be sent to another device.
[0008]
According to a second aspect, in the first aspect, the image processing apparatus further includes a receiving unit that receives an image to be displayed on the display element and information related to the image from another device, wherein the image data generating unit includes The video data is generated by superimposing information related to the video.
[0009]
In a third aspect based on the second aspect, the image processing apparatus further includes a storage unit configured to store the image captured by the imaging element and the collected information, and the transmission unit includes the image together with the image stored in the storage unit. The collected information stored in the storage means is transmitted.
[0010]
In a fourth aspect based on the third aspect, the transmitting means transmits a video request signal for requesting a video to another stereoscopic video display device, and the receiving means responds to the video request signal, Received from the other three-dimensional image display device, the image captured by the imaging element or the image stored in the storage unit, the three-dimensional image signal processing circuit, the received image to the display element It is characterized by processing into a displayable signal.
[0011]
In a fifth aspect based on the first to fourth aspects, an operation unit operated by an observer is provided, and the storage unit stores a designated place designated by the observer in an image photographed by the photographing element. The image data generating means stores the image captured by the image capturing element and information indicating the designated location to generate video data.
[0012]
In a sixth aspect based on the first to fifth aspects, when the designated place is out of the display area of the display element (for example, moving out of the display area or moving the observation direction by setting a high magnification) In the case where the display area deviates, the notifying means for notifying the positional relationship between the designated place and the display area is provided.
[0013]
In a seventh aspect based on the first to sixth aspects, the stereoscopic video signal processing circuit converts the video signal so as to blur an image farther than a cross point between the captured right-eye video and left-eye video. It is characterized by processing.
[0014]
In an eighth aspect based on the seventh aspect, the stereoscopic video signal processing circuit extracts an image element of the captured image, obtains a parallax between a right-eye image and a left-eye image, and determines that the image element is It is characterized in that it is determined whether or not the image element is far from the cross point, and when it is determined that the image element is far from the cross point, a process of blurring the outline of the image element is performed.
[0015]
Function and Effect of the Invention
In the present invention, a right-eye imaging element that captures a right-eye image and a left-eye imaging element that captures a left-eye image are configured. A display element configured to include an eye display element and a right-eye display element that displays a right-eye image, and a display element that displays an image captured by the imaging element, and a stereoscopic video signal that processes an image signal output from the imaging element A stereoscopic video display device comprising a processing circuit and information collecting means for collecting information related to the video imaged by the imaging device, wherein the stereoscopic video signal processing circuit includes a video image captured by the imaging device; Transmitting means for transmitting video data generated by superimposing the collected information to generate video data, and transmitting the collected information together with the video imaged by the imaging element to another device; Since it is equipped, it is possible to know the position, distance, altitude, orientation, etc. of the observation target without interrupting the observation, and it is possible to confirm the observation target more accurately and quickly by superimposing the computer graphics image and the like. . In addition, since information related to the captured image together with the image captured by the imaging element is transferred to another device, a target can be found quickly and easily.
[0016]
Further, in the fifth invention, an operation unit operated by an observer is provided, and the storage means stores a designated place designated by the observer in a video taken by the imaging device, and The means generates the image data by superimposing the image captured by the imaging element and the information indicating the designated location, so that the information specified as the observation target in the past is superimposed on the image under observation and displayed. Thus, the object observed in the past can be quickly found.
[0017]
Further, in the sixth invention, there is provided a notifying means for notifying a positional relationship between the designated place and the display area when the designated place is outside a display area of the display element. That is, by displaying an instruction (for example, an arrow or the like) indicating the direction of the target outside the display area, the observation target can be easily found.
[0018]
Further, in the seventh invention, the stereoscopic video signal processing circuit processes the video signal so as to blur an image farther than a cross point between the photographed right-eye video and left-eye video. In the stereoscopic video signal processing circuit, the image element of the captured video is extracted, the parallax between the right-eye video and the left-eye video is obtained, and it is determined whether or not the image element is far from the cross point. When it is determined that the image element is far from the cross point, the processing of blurring the outline of the image element is performed. Can be shown.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0020]
FIG. 1 is a block diagram illustrating a configuration of electronic binoculars that is an example of a stereoscopic image display device according to an embodiment of the present invention.
[0021]
The stereoscopic video display device according to the embodiment of the present invention captures a video to be observed, controls the stereoscopic binoculars unit 1 that displays the video, and the stereoscopic binoculars unit 1 (signal processing circuit 30) to convert the captured video into a video. The measurement control unit 2 generates information to be superimposed and displayed.
[0022]
The stereoscopic binoculars unit 1 includes a right optical system 10 having an optical lens, and a right-eye imaging device (CCD) 20 that converts an image collected by the right optical system 10 into an electric signal. Similarly, a left optical system 11 having an optical lens and a left-eye imaging device (CCD) 21 for converting an image collected by the left optical system 11 into an electric signal are provided. That is, it has two optical systems and two photographing elements, and simultaneously photographs two images (right-eye image and left-eye image).
[0023]
A video signal captured by the right-eye imaging element (CCD) 20 and the left-eye imaging element (CCD) 21 is input to the video signal processing circuit 30 and processed by the video signal processing circuit 30 to obtain the right-eye display element ( LCD) 90 and a left-eye display element (LCD) 91. The stereoscopic images displayed on the right-eye display element (LCD) 90 and the left-eye display element (LCD) 91 are observed by the observer via the right optical system 12 and the left optical system 13, respectively.
[0024]
That is, the video is converted into electric signals by the CCDs 20 and 21 via the left and right optical systems 10 and 11 and then taken into the frame memories 31 and 32 in the video signal processing circuit 30. Then, the images stored in the frame memories 31 and 32 are displayed on the LCDs 90 and 91, and the user can observe the images with the left and right optical systems 12 and 13.
[0025]
The right optical system 10 and the left optical system 11 have an autofocus function. This autofocus function is realized by a phase difference method in which the image signal processing circuit 30 detects a phase difference between video signals photographed by the imaging elements 20 and 21 and drives the optical systems 10 and 11 to focus.
[0026]
Further, the imaging elements 20 and 21 are configured so that an infrared image can be observed by changing a transmission characteristic of an optical filter attached thereto (for example, mechanically removing an infrared removal filter). I have.
[0027]
Further, the video signal processing circuit 30 is provided with a camera shake preventing function for controlling a reading position of a signal from the imaging elements 20 and 21 by a signal from a vibration sensor (not shown).
[0028]
As described above, the stereoscopic image display device of the present invention can provide the user with an image to be observed in the same manner as ordinary binoculars. Further, the stereoscopic video display device of the present invention can provide the observer with information useful for recognizing the observation target using various measurement units (the GPS unit 110, the distance measurement unit 120, and the like) as described later.
[0029]
The measurement control unit 2 is provided with a control unit (microcomputer) 100 that controls the entire operation of the stereoscopic video display device. The microcomputer 100 includes a CPU, a ROM, and a RAM (internal memory) 101. The internal memory 101 is used as a work area during the operation, and temporarily stores a video signal and information to be superimposed on the video signal and displayed.
[0030]
The microcomputer 100 is connected to measurement units (a GPS unit 110, a distance measurement unit 120, an azimuth measurement unit 130, an angle measurement unit 140, and an altitude measurement unit 150). The GPS unit 110 receives radio waves from GPS satellites, calculates the position (latitude, longitude) of the observation point, and obtains position information. The distance measurement unit 120 obtains the distance to the observation target using the parallax between the left and right images of the observation target. Note that a laser emitting unit, a laser receiving unit, and a delay time measuring unit may be provided, and the distance to the observation target may be obtained by laser distance measurement. The azimuth measurement unit 130 measures the geomagnetism by an electric compass using a magnetic azimuth sensor, obtains a north direction, and obtains a direction (azimuth) of the observation target. The angle measurement unit 140 measures the inclination of the stereoscopic image display device using an angle sensor, and obtains an elevation angle (elevation angle) of the observation target from the observation position. The altitude measurement unit 150 measures the air pressure by the semiconductor pressure sensor, and obtains the altitude of the observation point from the difference from the air pressure at the reference altitude. The altitude of the observation point may be obtained by performing a geoid height correction from the position information obtained from the GPS unit 110, or the barometric altimeter may be corrected using the altitude obtained from the GPS unit 110.
[0031]
The microcomputer 100 instructs the GPS unit 110 to perform position measurement in accordance with the instruction from the operation unit 160, and obtains observation position data. Further, the distance measurement unit 120 is instructed to measure distance, and distance data from the observation position to the observation target is obtained. In addition, the azimuth measurement unit 130 is instructed to perform azimuth measurement, and azimuth data of the observation target is obtained. Further, it instructs the angle measurement unit 140 to perform angle measurement, and obtains data on the elevation angle (or depression angle) of the observation target. In addition, an altitude measurement is instructed to the altitude measurement unit 150 to obtain altitude data of the observation position. The microcomputer 100 processes the measured data as numerical data or image data, sends it to the video signal processing circuit 30 and displays it on the LCDs 90 and 91 so that the data is displayed in the field of view of the observer. Then, these measurement data are stored in the internal memory 101 and the storage medium 170 together with the video data and the photographing data (the photographing date and time, the focal length (magnification) of the photographing lens, etc.).
[0032]
Further, the microcomputer 100 uses the position information obtained from the GPS unit 110 and the azimuth data obtained from the azimuth measurement unit 130 to convert the landscape data into map data of the observation position stored in the internal memory 101 or the storage medium 170. Is created and reconstructed using the azimuth data and the elevation angle data, and the landscape map data is sent to the video signal processing circuit 30 to be superimposed on the video of the observation target (or displayed in a part of the visual field). , To facilitate recognition of the observation target. The landscape map data is converted into a computer graphic or a translucent image of a line drawing having only an outline, and is superimposed and displayed so as not to hinder the visual recognition of the observation target. At this time, data useful for recognizing the observation target (for example, the name of the mountain, the height, the climbing route, the name of the surrounding place, the position on the figure, etc.) are simultaneously displayed.
[0033]
The video signal processing circuit 30 receiving the landscape map data from the microcomputer 100 compares and calculates the created landscape map data (computer graphics image) with the video of the observation target and the feature points, and adjusts the magnification of the landscape map data. Then, the combined video is written into the frame memories 31 and 32 and displayed on the LCDs 90 and 91.
[0034]
The composite image of the actual observation target video and the computer graphics image becomes an image in which annotations for explanation are written on the actual video with line drawings, animations, and characters, and helps the observer to recognize the observation target. .
[0035]
Instead of superimposing the landscape map data on the video of the observation target, a data display area may be provided in a part of the visual field and displayed in the data display area.
[0036]
An operation unit 160 is connected to the microcomputer 100 and operated by an observer, and the result of the operation by the observer is input to the microcomputer 100. Further, a large-capacity storage medium 170 constituted by a hard disk is connected to the microcomputer 100, which stores data necessary for the operation of the stereoscopic video display device, and also stores data such as maps and landscape maps. It is remembered. The storage medium 170 always stores some map data, but stores data such as maps and landscape maps read from the external database 210 via the communication interface 190 during or before the observation. can do.
[0037]
Further, the stereoscopic video data stored in the frame memories 31 and 32 can be stored in the storage medium 170 as a still image or a moving image based on an instruction from the operation unit 60. Further, it can be stored in the external database 210 via the communication interface 190. Along with the stereoscopic video data, data such as maps and landscape maps related to the video data and measurement data obtained from the measurement unit can be stored.
[0038]
Further, an external interface (external I / F) 180 is connected to the microcomputer 100, and inputs and outputs information to and from an external storage medium (flash memory) 200 connected to the stereoscopic video display device. Further, a communication interface (communication I / F) 190 is connected to the microcomputer 100, and a communication unit capable of communicating with an external database (external DB) 210 by a communication method such as infrared or wireless communication is configured. ing. If a database storing map information is used as the external database 210, it is not necessary to store map information inside the stereoscopic video display device, and the storage capacity of the storage medium 170 can be reduced. In addition to the above-described method, data can be transmitted to and received from the external database 210 by removing the storage medium 170 and directly connecting to the external database 210, thereby writing map information and the like from the external database 210 to the storage medium 170.
[0039]
In addition, the communication interface 190 can communicate with another stereoscopic image display device (electronic binoculars), and can transmit and receive an image currently being observed. In addition, image information, data such as a map and a landscape map, and measurement data stored in the internal memory 101 or the storage medium 170 can be transmitted and received.
[0040]
Next, the operation of the stereoscopic video display device according to the embodiment of the present invention will be described.
[0041]
FIG. 2 is a sequence diagram illustrating a process of storing video data of the stereoscopic video display device according to the embodiment of the present invention.
[0042]
When a video data storage operation is performed on the operation unit 160, the command signal is sent to the microcomputer 100 (S101). Then, the microcomputer 100 accesses the frame memories 31 and 32 of the video signal processing circuit 30 (S102), and reads left-eye video data and right-eye video data from the frame memories 31 and 32 (S103). Then, the microcomputer 100 stores the left-eye image data and the right-eye image data in the internal memory 101 of the microcomputer (S104). At this time, it is also possible to reduce the data amount by performing compression such as JPEG by the microcomputer 100 (or a dedicated circuit of the image compression circuit).
[0043]
Further, by setting by operating the operation unit 160, the left-eye video data and the right-eye video data can be stored in the storage medium 170 connected to the microcomputer 100 without going through the internal memory 101 (S105). .
[0044]
In addition, depending on the setting by the operation of the operation unit 160, the left-eye image data and the right-eye image data are sent to the external interface 180 without going through the internal memory 101, and the left-eye image data and the right image data output from the external interface 180 are output. The eye image data can be stored in the external storage medium 200 (S106).
[0045]
Further, the video data can be moved from the internal memory 101 to the storage medium 170 or the external storage medium 200 by operating the operation unit 160 (S107).
[0046]
FIG. 3 is a sequence diagram illustrating a process of displaying data together with video data of the stereoscopic video display device according to the embodiment of the present invention.
[0047]
When a data display operation is performed on the operation unit 160, the command signal is sent to the microcomputer 100 (S111). Then, the microcomputer 100 selects the type of data to be displayed, acquires data related to the video data from the corresponding measurement unit, and displays the data together with the video data. That is, when the operator requests the current position data, the current position data request signal is transmitted to the GPS unit 110 (S112). The GPS unit 110 sends the position information obtained by receiving the radio wave from the GPS satellite to the microcomputer 100 (S113).
[0048]
When the operator requests distance data to the current observation target, the operator transmits a distance data request signal to the distance measuring unit 120 (S114). The distance measurement unit 120 obtains the distance to the observation target by a triangulation method or a laser distance measurement method using an infrared laser light pulse, which measures an angle difference at which the target object is captured in the left and right eye images, and sends the distance to the microcomputer 100. It is sent (S115). Similarly, the azimuth of the observation target, the angle of the observation target (elevation angle, depression angle), and the altitude (height) of the observation position may be measured.
[0049]
Then, the microcomputer 100 generates video and character display data based on the data obtained from the GPS unit 110 and the distance measurement unit 120, and writes the display data in the frame memories 31 and 32 of the video signal processing circuit 30 (S116). The current position data and the distance data to the observation target are displayed. At this time, the distance data obtained from the distance measuring unit 120 is transmitted to the video signal processing circuit 30, and an image behind the current observation target is selected and subjected to image processing for blurring, and may be displayed on the LCDs 90 and 91. . This rear image blurring function facilitates three-dimensional observation of the observation target, and allows the observation target to be accurately grasped.
[0050]
In addition, the observation image in the background beyond the cross point of the left and right eyes has too much stereoscopic effect, and continuous observation may cause fatigue. Even if continuous observation is performed by blurring, the observer can be made less likely to be tired.
[0051]
Specifically, a parallax is obtained for each object by extracting an image element (or an outline of the image element) from the video under observation and calculating the difference between the positions of the left and right eye images. Since the image of the object behind the cross point has the parallax in the opposite direction, the image farther than the cross point is blurred and displayed by blurring the outline of the image element having the opposite phase.
[0052]
Since an image farther than the cross point often has a large amount of parallax, the image giving the maximum amount of parallax is a distant image, and there is a problem in that it is difficult to view stereoscopically near the observation target. However, blurring the background image farther than the cross point makes it easier to see the three-dimensional object, and has the effect of making the object ahead look more natural.
[0053]
Then, together with the image data, the measurement data related to the video to be observed is transferred to the internal memory 101 (or the storage medium 170 or the external storage medium 200) and stored (S117). This measurement data may be visualized and stored as image data containing the visualized measurement data, or may be stored as attribute data in a header portion of the image. As described above, when the measurement data is stored in the header section, the stored image data and measurement data can be separately used.
[0054]
FIG. 4 is a sequence diagram illustrating a process of displaying map data together with video data of the stereoscopic video display device according to the embodiment of the present invention.
[0055]
When a map display operation is performed on the operation unit 160, the command signal is sent to the microcomputer 100 (S121). Then, the microcomputer 100 searches whether or not map data corresponding to the data of the current position obtained from the GPS unit 110 is stored in the storage medium 170 (S122). If the desired map data is stored, The map data is read (S123). Since this map data is stored as image information of a specific size associated with the latitude and longitude, necessary map data is searched from the latitude and longitude of the current location.
[0056]
On the other hand, if the desired map data is not stored, the microcomputer 100 sends the position data of the current position to the external database 210 via the communication interface 180, and requests the external database 210 for the map data (S122). . Then, upon receiving the necessary map data (S125), the map data is stored in the internal memory 101 (S126).
[0057]
Then, the microcomputer 100 generates video data based on the received map data, writes the video data into the frame memories 31 and 32 of the video signal processing circuit 30 (S127), and combines the video data to be observed with the map data. And superimpose and display them.
[0058]
The synthesis of the video data of the observation target and the map data is performed by converting the contour data included in the map data into image data, reconstructing the contour data as a three-dimensional space inside the internal memory 101, and forming A three-dimensional computer graphics model is generated by attaching a polygon composed of triangular faces. A texture mapping process is performed on the surface of this model to reproduce the surface of the real terrain, and a rendering process reproduces colors, light reflection, depth feeling, and the like. These processes are performed by the CPU of the microcomputer 100, but may be performed by hardware dedicated to three-dimensional graphics such as a graphics controller.
[0059]
FIG. 5 is a sequence diagram illustrating a process of transmitting video data of the stereoscopic video display device according to the embodiment of the present invention to another stereoscopic video display device (electronic binoculars).
[0060]
When a data transmission operation is performed on the operation unit 160, the command signal is sent to the microcomputer 100 (S131). Then, the microcomputer 100 accesses the frame memories 31 and 32 of the video signal processing circuit 30 (S132), and reads out the left-eye video data and the right-eye video data of the target under observation from the frame memories 31 and 32. (S133). Similarly, in accordance with an instruction of the operation button, the video data stored in the internal memory 101 or the storage medium 170 and the measurement data related to the video data are read out, and are processed by another stereoscopic video display device by a process described later. It is also possible to send.
[0061]
Thereafter, the microcomputer 100 accesses the internal memory 101 (S134), and reads out measurement data related to video data to be observed, such as current position data and distance data, from the internal memory 101 (S135).
[0062]
Then, the microcomputer 100 sends the left-eye image data, the right-eye image data, and the measurement data related to the image data to the communication interface 190 (S136), and displays the image data and the related measurement data in another stereoscopic image display. Send to device.
[0063]
FIG. 6 is a sequence diagram illustrating a process of displaying video data transmitted from another stereoscopic video display device (electronic binoculars) in the stereoscopic video display device according to the embodiment of the present invention.
[0064]
When video data is transmitted from another stereoscopic video display device and arrives at the communication interface 190, the data is transmitted to the microcomputer 100 (S141). The data received via the communication interface 190 includes left-eye video data and right-eye video data as well as measurement data related to the video data.
[0065]
Then, the microcomputer 100 writes the received video data and measurement data related to the video data into the storage medium 170 (S142).
[0066]
When the data reading operation is performed on the operation unit 160, the command signal is sent to the microcomputer 100 (S143). Then, the microcomputer 100 accesses the storage medium 170 (S144), reads out the video data and the measurement data related to the video data from the storage medium 170 (S145), and reads out the frame memory 31 of the video signal processing circuit 30. , 32 (S146), and displays the received video data together with the measurement data.
[0067]
FIG. 7 is a sequence diagram illustrating a process of transmitting marking data of the stereoscopic video display device according to the embodiment of the present invention to another stereoscopic video display device (electronic binoculars).
[0068]
When a data transmission operation is performed on the operation unit 160, the command signal is sent to the microcomputer 100 (S151). Then, the microcomputer 100 accesses the storage medium 170 (S152), and reads out the marking data to be transferred and the measurement data related to the marking from the storage medium 170 (S153). At this time, it is also possible to select the marking data to be transferred, which is stored in the storage medium 170, according to the instruction of the operation button.
[0069]
Then, the microcomputer 100 sends the left eye image data, the right eye image data, and the measurement data related to the image data to the communication interface 190 (S154), and displays the image data and the related measurement data in another stereoscopic image display. Send to device.
[0070]
FIG. 8 is a sequence diagram illustrating a process of displaying marking data transmitted from another stereoscopic video display device (electronic binoculars) in the stereoscopic video display device according to the embodiment of the present invention.
[0071]
When the marking data is transmitted from another stereoscopic video display device and arrives at the communication interface 190, the data is transmitted to the microcomputer 100 (S161). The data received via the communication interface 190 includes measurement data related to the marking in addition to the position information of the place where the marking is performed.
[0072]
Then, the microcomputer 100 writes the received marking data into the storage medium 170 (S162). Then, the microcomputer 100 checks the association between the current position obtained by the GPS unit 110 and the marking data, and determines whether or not the marking can be displayed so as to be superimposed on the video currently being observed.
[0073]
If the received marking data can be displayed so as to be superimposed on the video currently being observed, video data in which the marking data is superimposed on the current video data is generated. On the other hand, if the received marking data cannot be displayed so as to be superimposed on the video currently being observed, the relationship between the current video under observation and the marking is displayed by an arrow 400 displayed at the periphery of the video data. .
[0074]
As a result of comparing the current image and the marking position, the arrow display 400 is represented in eight directions (the four directions of up, down, left, and right and between them) around the current line of sight. That is, the difference between the center (line of sight) direction of the image during pill observation and the marking position is determined. Then, it is determined whether or not the difference is included in the viewing angle of the image currently being observed. This viewing angle is obtained by calculating the magnification of the zoom by the right optical system 10 and the left optical system 11 or the digital zoom by the video signal processing circuit 30.
[0075]
Instead of comparing the marking position with the center (line of sight) direction of the image being observed, the arrow 400 may be displayed by comparing with the bright frame position.
[0076]
It is also convenient to remove the arrow mark when the marking 500 approaches the position where the marking 500 is displayed in the image under observation or when the marking 500 and the bright frame 200 come to a position where they overlap.
[0077]
FIG. 9 is a diagram illustrating a display example of video data of the stereoscopic video display device according to the embodiment of the present invention.
[0078]
At the center of the display screen of the display elements 90 and 91, an image of the object under observation is displayed. In this image, the left-eye image and the right-eye image are displayed on different display elements with different parallax, and a stereoscopic image is reproduced.
[0079]
The bright frame 200 is superimposed and displayed on the video data of the observation target. The position of the bright frame 200 in the video data can be moved by a direction key provided on the operation unit 160. That is, the observer operates the direction keys of the operation unit 160 to superimpose the image data on the observation target. By operating the enter key provided on the operation unit 160, the bright frame 200 is fixed, the color of the bright frame 200 changes, and the marking 500 can be made at that position. The data at the marked position is stored in the internal memory 101 and / or the recording medium 170.
[0080]
Further, for the location of the video data captured by the bright frame 200, the distance from the observation point is measured by the ranging unit 120, the distance from the observation point is measured by the azimuth measurement unit 130, and the angle measurement device 140 To measure the angle from the observation point. Further, the position of the target captured by the bright frame 200 is calculated based on the distance, the direction, the angle, and the position information of the observation point obtained by the GPS unit 110 to the target captured by the bright frame 200.
[0081]
Regarding the marking 500, the marked video and the marked map (or contour data) are stored in the internal memory 101 or the storage medium 170, and both can be read arbitrarily and displayed together with the marking 500. . Further, it is also possible to search for the marked information and superimpose the plurality of read-out markings on the currently displayed video data, and display it. Further, it is also possible to read out and display the video stored corresponding to the marking.
[0082]
Also, when the electronic binoculars are activated (when the power is turned on), the GPS unit 110 obtains the current position, searches for the relevant marking, and displays the marking 500 related to the current position on the current observation image. Is also good.
[0083]
From the marked map (contour map), it is possible to compose a landscape map by computer graphics marked. Observation targets marked in the past are recorded in this landscape map, and the position can be viewed from above.
[0084]
Further, when an arbitrary observation target (marking) displayed is selected by operating the operation unit 160, the image of the observation target observed in the past and related data are read out from the storage medium 170 or the internal memory 101, and the LCD 90, 91 can be displayed.
[0085]
At this time, the read position data of the observation target and the current observation target are compared and calculated by the microcomputer 100 (by comparing the position, direction, elevation angle, altitude, and the like), and the stereoscopic image display device is operated. The direction to be moved is displayed by arrow display 400 at the upper left corner outside the display area of the video data to be observed.
[0086]
Note that the marking image can be transmitted and received to and from each other by communication with another stereoscopic image display device (FIGS. 5 and 6). Therefore, the observation target can be accurately conveyed to another observer, and the other observer can be guided to the target observation target by indicating the positional relationship with the marking location.
[0087]
Further, an arrow display 400 is provided at the upper left outside the display area of the video data of the observation target to indicate in which direction the visual field should be moved when the observation target goes out of the visual field. For example, when the observation target is enlarged and displayed using the zoom function of the optical systems 10 and 11, when the marked observation target deviates from the visual field (display area), the position, orientation, and angle obtained at the time of marking are obtained. And the like, and data at the time of zoom-up, such as position, azimuth, and angle, are compared and calculated by the microcomputer 100. When the observation target is out of the field of view, the direction to be corrected is displayed by the arrow display 400, By guiding the movement of the visual field in that direction, the zoomed-up observation target can be captured in the visual field (display area).
[0088]
Further, the position data (latitude and longitude) of the current position obtained from the GPS unit 110 and the altitude data obtained from the altitude measurement unit 150 are displayed in the upper center outside the display area of the video data to be observed. The map data obtained from the external database 210 is displayed at the upper left outside the display area of the video data to be observed. The altitude difference calculated from the distance information obtained from the distance measuring unit 120 and the altitude angle data obtained from the angle measuring unit 140 is displayed in the upper right part outside the display area.
[0089]
In the embodiment of the present invention, a photographing element (a right-eye CCD 20 and a left-eye CCD 21) for photographing an image of an observation target, and a display element (a right-eye LCD 90 and a left-eye LCD 90) for displaying an image photographed by the photographing element. LCD 91), and a stereoscopic video signal processing circuit 30 that processes a video signal output from the imaging element into a signal that can be displayed on the display element, and acquires information related to an image captured by the imaging element. A three-dimensional image in which a microcomputer 100 configures measurement units (GPS unit 110, distance measurement unit 120, azimuth measurement unit 130, angle measurement unit 140, and altitude measurement unit 150) and information collecting means for collecting measurement data from the measurement units. In a display device, the stereoscopic video signal processing circuit 30 is configured to control an image captured by the A video data generating unit for generating video data by superimposing the measurement data, and a transmitting unit capable of transmitting the collected information together with the video imaged by the imaging element to another device. The position, distance, altitude, azimuth, and the like of the observation target can be known without interrupting the observation, and the superimposed display of a computer graphics image or the like allows a more accurate and quick observation target to be confirmed. In addition, since information related to the captured image is transferred together with the image captured by the imaging element to another device, the target can be found quickly and easily.
[0090]
Furthermore, the information in the field of view is provided to the observer using information such as computer graphics read from a storage medium such as information on a route, a dangerous place, a resting place, etc. of a mountain under observation, which is merely information from the image. Since they can be displayed in a superimposed manner, useful observation means can be provided.
[0091]
Of course, in observation in an urban area, the names of buildings and structures, roads and bridges and their maps, distances and directions from observation positions, and the like may be displayed so as to be superimposed on observation images.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a stereoscopic video display device according to an embodiment of the present invention.
FIG. 2 is a sequence diagram of a process of storing video data of the stereoscopic video display device according to the embodiment of the present invention.
FIG. 3 is a sequence diagram of a process of displaying data together with video data of the stereoscopic video display device according to the embodiment of the present invention.
FIG. 4 is a sequence diagram illustrating a process of displaying map data together with video data of the stereoscopic video display device according to the embodiment of the present invention.
FIG. 5 is a sequence diagram of a process of transmitting video data of the stereoscopic video display device according to the embodiment of the present invention to another stereoscopic video display device.
FIG. 6 is a sequence diagram of a process of displaying video data transmitted from another stereoscopic video display device according to the embodiment of the present invention.
FIG. 7 is a sequence diagram of a process of transmitting marking data of the stereoscopic video display device according to the embodiment of the present invention to another stereoscopic video display device.
FIG. 8 is a sequence diagram of a process of displaying marking data transmitted from another stereoscopic video display device according to the embodiment of the present invention.
FIG. 9 is an explanatory diagram of a display example of video data of the stereoscopic video display device according to the embodiment of the present invention.
[Explanation of symbols]
10. Right optical system (shooting side)
11 Left optical system (photographing side)
12 Right optical system (display side)
13 Left optical system (display side)
20 Right eye imaging device (CCD)
21 Image sensor for left eye (CCD)
30 Video signal processing circuit
31 Right frame memory
32 Left frame memory
100 microcomputer
101 Internal memory
110 GPS unit
120 Distance measuring unit
130 Direction measurement unit
140 Angle measurement unit
150 altitude measurement unit
160 operation unit
170 Storage media
180 External interface
190 Communication Interface
200 external memory
210 External database

Claims

An imaging device configured to include a right-eye imaging device that captures a right-eye image and a left-eye imaging device that captures a left-eye image, and an imaging device that captures an image of an observation target,
A display element configured to include a left-eye display element that displays a left-eye image and a right-eye display element that displays a right-eye image, and a display element that displays an image captured by the imaging element.
A stereoscopic video signal processing circuit that processes a video signal output from the imaging element;
Information collection means for collecting information related to the image captured by the imaging element, and a stereoscopic image display device,
The stereoscopic video signal processing circuit includes video data generating means for generating video data by superimposing the video captured by the imaging device and the collected information,
A three-dimensional image display device, comprising: transmission means capable of transmitting the collected information together with the image captured by the imaging element to another device.

A receiving unit that receives an image to be displayed on the display element and information related to the image from another device,
The stereoscopic video display device according to claim 1, wherein the video data generation unit generates video data by superimposing the received video and information related to the video.

Having storage means for storing the image captured by the imaging element and the collected information,
The three-dimensional image display device according to claim 2, wherein the transmitting unit transmits the collected information stored in the storage unit together with the image stored in the storage unit.

The transmitting means transmits a video request signal requesting a video to another stereoscopic video display device,
The receiving means, in response to the image request signal, received from the other three-dimensional image display device, receives an image captured by the imaging element or an image stored in the storage means,
The stereoscopic video display device according to claim 3, wherein the stereoscopic video signal processing circuit processes the received video into a signal that can be displayed on the display element.

It has an operation unit operated by the observer,
In the storage means, in the video imaged by the imaging element, stores a specified location specified by the observer,
5. The video data generation unit according to claim 1, wherein the video data generation unit generates video data by superimposing a video captured by the imaging device and information indicating the designated location. 6. 3D image display device.

6. The information processing apparatus according to claim 1, further comprising a notification unit configured to notify a positional relationship between the designated location and the display area when the designated location is outside a display area of the display element. 3. The stereoscopic video display device according to 1.

7. The video signal processing circuit according to claim 1, wherein the stereoscopic video signal processing circuit processes the video signal so as to blur an image farther than a cross point between the captured right-eye video and left-eye video. The stereoscopic image display device according to one of the above.

The stereoscopic video signal processing circuit,
Extract the image element of the captured video, determine the parallax between the right eye image and the left eye image, determine whether the image element is far from the cross point,
The stereoscopic video display device according to claim 7, wherein when it is determined that the image element is far from the cross point, a process of blurring the outline of the image element is performed.