JP2006067215A - 撮像表示装置 - Google Patents

Abstract

【課題】工事位置等の所望の対象物を撮像した画面に図面データ等を正しく重ねて表示することにより、状況の把握を迅速に行うことができると共に、取付位置等の作業内容を迅速に指示し、また作業結果を確認することが可能な撮像表示装置を提供する。
【解決手段】表示情報を記憶する表示情報記憶手段と、該表示情報記憶手段で記憶している表示情報を任意の撮像対象物の撮像に重畳表示する重畳表示手段と、前記撮像対象物に形成された参照基準点との距離を測定する距離測定手段と、前記表示情報に含まれている基準点位置を前記参照基準点に一致させると共に、前記距離測定手段で測定した距離に基づいて表示情報を同寸で表示する倍率調整手段とを備えている。
【選択図】 図１

Description

本発明は、工事現場や製品組み立て等で、埋設物位置や製品取付け位置等を撮像して表示することができる撮像表示装置に関する。

従来の撮像表示装置としては、たとえば、デジタルカメラ装置が知られている。
デジタルカメラ装置は、携帯することができ、必要なときに撮像対象物の状態を撮像し記録できるものである。そして、その撮像された内容を、モニタ装置に表示したり、紙面等にプリントすることができる。
ところで、工事現場や製品組み立て等では、埋設物位置や製品取付け位置等は一般に所定縮尺の図面に表されており、この図面を見ながら埋設物位置や製品取付け位置等を確認する必要がある。このような場合に、上記従来例のデジタルカメラ装置を使って工事等の前・途中・後を撮像しておくことにより、工事等の経過を記録することが可能となる。
特開２０００−１３７６９号公報

しかし、従来例のデジタルカメラ装置の場合には、現場と図面とを見比べながら工事等を行う必要があり、また、工事等の結果を撮像し記録した内容と図面とを見比べながら工事等の結果を確認する必要がある。そのため、工事等の状態を撮像し記録した内容と図面とを見比べながら的確に状態を把握し、その情報に基づいて必要最小限の合理的な工事等を実施する上で手助けとなるツールとしては上記従来例のデジタルカメラ装置では不十分である。

そこで、このような工事等を実施する上で手助けとなるツールとして、工事等の所望の撮像対象物を撮像した画面に、図面データ等を重ねて表示する撮像表示装置が考えられる。
ここで、このような撮像対象物を撮像して、複数の画像を、その寸法を調整して重ねて表示する撮像表示装置としては、例えば特許文献１に記載の技術が知られている。

特許文献１に記載の技術は、画像会議システムにおいて、会議に参加する各人員の画像の寸法を調整し、背景画像上に重ねて表示して、あたかも一堂に会して会議をしているイメージを提供するものである。
しかしながら、特許文献１に記載の技術では、複数の画像の相対関係を正確に判断して画像を重ね合わせているとはいえず、例えば図面データ等のように精度の要求される対象における重ね合わせを行なうような用途には適当とはいえず、不十分である。

すなわち、本発明は、上記従来例の未解決の課題に着目してなされたものであり、工事等の所望の撮像対象物を撮像した画面に図面データ等を正しく重ねて表示することにより、状況の把握を迅速に行うことができると共に、取付位置等の作業内容を迅速に指示し、また作業結果を確認することが可能な撮像表示装置を提供することを目的としている。

上記目的を達成するために、請求項１に係る撮像表示装置は、一直線上にない少なくとも３点の基準点を設けた表示情報を記憶する表示情報記憶手段と、該表示情報記憶手段で記憶している表示情報の前記基準点にそれぞれ対応する参照基準点を設ける撮像対象物を撮像面上で撮像する撮像手段と、前記撮像面上の各参照基準点の撮像位置を測定する位置測定手段と、前記撮像対象物上の各参照基準点と前記撮像手段の撮像面との距離を測定する距離測定手段と、前記位置測定手段で測定した位置情報と前記距離測定手段で測定した各参照基準点の距離情報とに基づいて、前記表示情報の基準点の表示と前記撮像対象物の撮像上の参照基準点とが合致するような重畳表示用の描画情報を、前記表示情報から変換する倍率調整手段と、該倍率調整手段で変換した描画情報を格納する重畳表示用描画手段と、該重畳表示用描画手段に格納された描画情報を前記撮像対象物の撮像上に重畳表示する重畳表示手段とを備えていることを特徴としている。

また、請求項２に係る撮像表示装置は、請求項１に記載の撮像表示装置において、さらに、前記撮像対象物上に複数の代表点を設定するとともに、当該複数の代表点と前記撮像手段の撮像面との距離を計測する代表点計測手段と、を備えており、前記倍率調整手段は、前記描画情報を、当該代表点ごとに計測された距離情報に基づいて、各代表点を含む撮像対象物の撮像上の領域ごとに、前記表示情報から変換することを特徴としている。
ここで、「代表点」とは、撮像対象物上での実際の可視情報としての点ではなく、撮像対象物の撮像上の領域を区分する上で、論理的に設定される点である。

また、請求項３に係る撮像表示装置は、一直線上にない少なくとも４点の基準点を設けた表示情報を記憶する表示情報記憶手段と、該表示情報記憶手段で記憶している表示情報の前記基準点にそれぞれ対応する参照基準点を設ける撮像対象物を撮像面上で撮像する撮像手段と、前記撮像面上の各参照基準点の撮像位置を測定する位置測定手段と、前記少なくとも４点の基準点および対応する少なくとも４点の参照基準点の位置情報から前記撮像対象物上の各参照基準点と前記撮像手段の撮像面との距離を演算する距離演算手段と、前記位置測定手段で測定した位置情報と前記距離演算手段で演算した各参照基準点の距離情報とに基づいて、前記表示情報の基準点の表示と前記撮像対象物の撮像上の参照基準点とが合致するような重畳表示用の描画情報を、前記表示情報から変換する倍率調整手段と、該倍率調整手段で変換した描画情報を格納する重畳表示用描画手段と、該重畳表示用描画手段に格納された描画情報を前記撮像対象物の撮像上に重畳表示する重畳表示手段とを備えていることを特徴としている。

さらに、請求項４に係る撮像表示装置は、請求項１乃至３の何れか１つに記載の撮像表示装置であって、前記参照基準点は、当該参照基準点が設定されるべき前記撮像対象物上での位置を動的に指定する参照基準点指定手段によってそれぞれ指定されることを特徴としている。
さらに、請求項５に係る撮像表示装置は、請求項１乃至３の何れか１つに記載の撮像表示装置であって、前記参照基準点は、当該参照基準点が設定されるべき前記撮像対象物上での位置を特徴的な形状から識別して動的に指定する参照基準点識別手段によってそれぞれ指定されることを特徴としている。

さらに、請求項６に係る撮像表示装置は、請求項１乃至５の何れか１つに記載の撮像表示装置であって、前記倍率調整手段は、前記撮像対象物の撮像上での表示が所望の倍率となるような描画情報を前記表示情報から変換することを特徴としている。
さらにまた、請求項７に係る撮像表示装置は、請求項６に記載の撮像表示装置であって、前記撮像対象物の撮像上での表示が同寸表示となる倍率であることを特徴としている。

また、請求項８に係る撮像表示装置は、請求項７に記載の撮像表示装置であって、前記表示情報に設定する検証点と、前記撮像対象物である検証対象に前記検証点に対応して設ける参照検証点との相対関係を検出する相対関係検出手段を有することを特徴としている。
また、請求項９に係る撮像表示装置は、請求項７に記載の撮像表示装置であって、前記表示情報に対して特定の情報を付加する特定情報付加手段を有することを特徴としている。
また、請求項１０に係る撮像表示装置は、請求項９に記載の撮像表示装置であって、前記特定情報付加手段は、前記特定の情報として、前記撮像対象物がもつ現在の情報を付加することを特徴としている。

請求項１に係る発明によれば、表示情報記憶手段に記憶されている表示情報を重畳表示手段で任意の撮像対象物、例えば配管埋設工事の場合にはその埋設位置の地面の撮像に重畳して、地面に埋設されている配管状況を表す図面を重畳表示する。このとき、埋設位置の地面にある例えばマンホールの中心点や、水準点等を参照基準点とし、この参照基準点に表示情報の基準点を合致させることができる。これにより、この際の表示情報の表示を例えば同寸に設定することにより、現状に最適な表示形態として、現状を瞬時に把握することができ、作業位置の指示や作業結果の確認を図面と直接照合して進められるので、工事等を的確に行うことができるという効果が得られる。

そして、この請求項１に係る発明によれば、距離測定手段で撮像対象物までの距離を測定することにより、この測定距離に応じて倍率調整手段で撮像対象物の撮像上での表示情報を煩わしい調整を行うことなく自動的に例えば同寸表示することができ、より短時間で現状を把握することができるという効果が得られる。
特に、この請求項１に係る発明によれば、撮像対象物が傾斜している場合であっても、倍率調整手段によって撮像対象物の撮像上での表示を、３点の参照基準点の位置情報および距離測定手段によって測定した距離情報に基づいて、各参照基準点および対応する各基準点のそれぞれが合致するような描画情報を表示情報から変換することが可能である。

さらにまた、請求項２に係る発明によれば、撮像対象物上に複数の代表点を設定し、各代表点ごとに計測された距離情報に基づいて、描画情報を、各代表点を含む撮像対象物の撮像上の領域ごとに表示情報から変換している。これにより、撮像対象物が単一な平面でなくても、歪みを最小限に抑えて表示情報を表示することができる。そのため、例えば配管埋設工事の場合には、その埋設位置の地面に複合する傾斜や段部があっても、埋設されている配管状況を表す図面を、より現状に最適な表示形態として、図面と見比べることなく、現状を瞬時に把握することができ、より工事等を的確に行うことができるという効果が得られる。

また、請求項３に係る発明は、請求項１での距離測定手段を、距離演算手段に置き換えることによって同様の機能を得ることができる。すなわち、上記の請求項１に係る発明では、撮像対象物までの距離を距離測定手段で実際に測定しているが、請求項３に係る発明によれば、少なくとも４点の参照基準点および少なくとも４点の基準点の位置情報によって変換係数を演算することが可能である。これにより、一般的に高価である距離測定手段を用いることなく安価な構成によって撮像表示装置を構成することができるという効果が得られる。

また、請求項４に係る発明によれば、撮像対象物に予め参照基準点を設置する必要がない。そのため、例えば参照基準点の汚れ、剥がれ、ないしは破損等を予防したり点検修理するといったコストが不要になる。
さらにまた、請求項５に係る発明によれば、撮像対象物上の参照基準点が装置によって自動的に識別されるので、わざわざを参照基準点の位置を指定する手間が不要になる。

なおさらに、請求項６に係る発明によれば、実物のサイズに合わせた拡大ないし縮小が可能である。すなわち、同一の表示情報でも、同寸より大きなまたは小さな撮像対象物に対しては、拡大ないし縮小して表示することができる。そのため、例えば実物の縮小モデルを撮像対象物としたときでも、図面や文書を縮小して重畳表示できるという効果がある。

さらにまた、請求項７に係る発明によれば、表示情報の表示を同寸に設定しているから、現状に最適な表示形態として、現状を瞬時に把握することができ、例えば図面と見比べることなく、また、図面の見誤りなどを生じることなく、例えば工事等を的確に行うことができるという効果が得られる。
なおさらに、請求項８に係る発明によれば、撮像対象物となる検証対象として、例えば部品などを設定しておけば、その部品の取付けや取り外しなどの状況の変化を検出できる。そのため、例えば、もとの状況を記録しておき、状況を変更して再び復元した際に、もとの状況記録（表示情報）と復元状況（撮像対象物）とを比較することができるので、復元作業を正確に手早く進め易くなるといった効果がある。

さらに、請求項９に係る発明によれば、表示情報に特定の情報を付加することができるため、検査すべき部位の指示や、部品等の取付け位置の指示などを効率よく行える。また、特定の情報として、例えば特定個所に関する参考情報をその部位の近くに併せて表示することができる。そのため、例えば、複雑な構造物や、見慣れない対象において、関心のある特定の個所を瞬時に指摘したり、より効率良く把握することができる。

さらに、請求項１０に係る発明によれば、撮像対象物がもつ現在の情報として、例えば熱・電磁波・荷重（ストレス）などの物理量を可視化して、これを特定の情報として付加し、直接構造物の撮像に重畳表示できる。そのため、例えば、構造物の部分毎の目に見えない情報を把握し易くなる。また、非破壊検査による物理量を直接構造物の撮像に重畳表示できるので、構造物の目に見えない中身の状態を透視するがごとく分かり易く説明することができるという効果がある。

以下、本発明の実施の形態を図面に基づいて説明する。
まず、本発明に係る撮像表示装置における第１の実施形態の構成を図１を参照して説明する。なお、図１は本発明に係る第１の実施形態の撮像表示装置の構成を説明する説明図である。
同図に示すように、この撮像表示装置８８は、携帯可能な携帯容器である筐体９０の内部に、構成要素（但し、撮像対象物８０を除く）が収納されている。

すなわち、筐体９０内には、撮像手段である撮像部７１０と、表示手段であるモニタ部４１０が備えられている。
詳しくは、撮像部７１０は、例えばＣＣＤカメラの一部として構成されており、撮像対象物８０から反射光線を、撮像対象物８０上の情報として撮像面７００で撮像画像として読み取り、メモリに格納する。そして、撮像部７１０は、撮像面７００内の（ｘ，ｙ）位置が入力されると、その位置の点の値を画像情報として出力するようになっている。

また、モニタ部４１０は、例えば液晶パネルであるモニタ面４００を含んで構成されている。
撮像面７００上の点（ｘ，ｙ）に格納されている情報は、後述するモニタ制御部５００によって、対応するモニタ面４００上の点（ｘ，ｙ）に表示される。
さらに、筐体９０の内部には、表示情報であるコンテンツ（表示すべき電子化された文字、図表、文書等の内容）のデータを記憶する表示情報記憶手段である原図記憶部１００と、その原図記憶部１００から読み込んだコンテンツのデータを重畳表示用の描画情報（以下、描画画像ともいう）として変換する描画制御部２００と、その描画制御部２００から出力された重畳表示用の描画情報を格納する重畳表示用描画手段である描画面３００とを備えている。

このように、原図記憶部１００に格納されたコンテンツのデータは、描画制御部２００で所定の描画画像に変換されてから、描画情報として描画面３００上に格納されるようになっている。
詳しくは、原図記憶部１００は、例えばＲＡＭ（ランダムアクセスメモリ）で構成されており、コンテンツのデータ（表示情報）は点の集合（以下、原図画像ともいう）として格納されている。そして、原図記憶部１００は、例えば文書のページ内の位置（ｘ′，ｙ′）が入力されると、点の集合（原図画像）におけるその位置（ｘ′，ｙ′）での画像を構成する画像構成点の値（色または濃淡の情報）を出力するようになっている。

また、描画面３００は、例えばＲＡＭ（ランダムアクセスメモリ）で構成されており、描画情報は点の集合（以下、描画像ともいう）として格納されている。そして、描画面３００は、点の集合（描画像）における位置（ｘ，ｙ）を指定して、その画像構成点の値（色または濃淡の情報）を入力および出力するようになっている。
さらに、筐体９０の内部には、モニタ制御部５００が備えられている。

詳しくは、モニタ制御部５００は、撮像面７００上の点（ｘ，ｙ）に格納されている画像情報を、モニタ面４００上の点（ｘ，ｙ）に表示すると共に、描画面３００上の点（ｘ，ｙ）に格納されている画像情報を、モニタ面４００上の点（ｘ，ｙ）に重畳して表示する重畳表示手段である。
さらにまた、筐体９０の内部には、距離測定部８００と、マーク検出部９００とが備えられている。

マーク検出部９００は、撮像面７００内の撮像画像を走査して、予め設定された識別マーク、例えば後述する参照基準点、を検出し、その識別マークの識別コードと撮像面７００内の位置情報（ｘ，ｙ）とを獲得し、出力する。詳しくは、マーク検出部９００は、識別マークの識別コードおよびドットパターンの組を格納したマークメモリ、およびドット比較器とで構成されており、撮像画像の（ｘ，ｙ）にあるドットを順次読み出して、ドット比較器で識別マークのドットパターンと比較する。そして、これらが一致したときは、該当する識別マークの識別コード、および当該ドットパターンの中心の位置（ｘ，ｙ）を出力するようになっている。なお、パターンを識別する方式は、これに限定されず、その他の通常知られている方法によって識別してもよい。なお、マーク検出部９００は、後述する各参照基準点の位置を測定する位置測定手段に対応する。

また、距離測定部８００は、マーク検出部９００から出力された識別マークの位置情報（ｘ，ｙ）が入力されると、撮像対象物８０上の実際の点と、撮像焦点との距離Ｄ（後述する図１３参照）を測定して、測定した各参照基準点の距離Ｄを距離情報として出力するようになっている。詳しくは、この距離測定部８００は、図示しない赤外線発信機、赤外線センサおよびカウンタを含んで構成されており、赤外線発信機からパルス状の赤外線を発射し、そのパルス状の赤外線が撮像対象物８０で反射して、撮像面７００内の（ｘ，ｙ）位置の点に戻ってくるまでの時間をカウンタで計数し、所望の距離Ｄを測定するようになっている。この測定は、各識別マークごとに行われる。なお、距離Ｄを測定する方式としては、上記の赤外線による方式に限定されず、レーザの伝達時間や位相差を利用した方式や、２つのカメラの間の視差による方式など様々なものを採用可能である。なおまた、距離測定部８００は、後述する各参照基準点との距離を測定する距離測定手段に対応する。

次に、描画制御部および描画制御部に係る構成についてより詳しく説明する。
描画制御部２００は、距離測定部８００およびマーク検出部９００によってそれぞれ測定した後述する各参照基準点の距離情報および位置情報に基づいて、各参照基準点および対応する各基準点のそれぞれが合致（一致）するような描画情報を表示情報から変換するものである。なお、描画情報は、描画メモリの所定領域に格納されるようになっている。

詳しくは、描画制御部２００は、原図記憶部１００からのコンテンツのデータ（原図画像）を描画画像に変換する際に、コンテンツのデータの他に、上記撮像面７００、距離測定部８００およびマーク検出部９００からの情報をそれぞれ参照するように構成されている。
この描画制御部２００は、例えばマイクロプロセッシングユニット（ＭＰＵ）等から構成されており、ＲＯＭの所定領域に格納されている所定のプログラムを起動させて、そのプログラムに従って、後述する図４に示す表示制御処理を実行するようになっている。

ここで、描画制御部２００での表示制御処理を詳細に説明するにあたり、まず、撮像対象物の一例について図２を参照して説明する。なお、図２は撮像対象物の一例を説明する説明図である。
撮像対象物は、例えば上述した工事現場であれば、工事の敷設面等を撮像対象物とするものである。

撮像対象物８０には、一直線上にない３つの参照基準点が可視表示されている。すなわち、同図に示すように、第一の参照基準点２１０、第二の参照基準点２２０、第三の参照基準点２３０が設定される。各参照基準点は、それぞれ撮像対象物８０の左下、右下、左上に位置しており、それぞれは固有の識別マーク（例えば、○、□、△）で示される。なお、参照基準点は、予め撮像対象物に設置されている必要はなく、撮像表示時に、配置または指示するようにしてもよい。

次に、描画制御部２００の機能を具体化するために設定される座標系について図３を参照して説明する。
この座標系は、撮像焦点、表示すべき原図画像、描画画像が置かれる描画面３００、撮像対象物８０、および撮像画像が置かれる撮像面７００を、それぞれ同図に示すように設定して定義する。すなわち、撮像焦点の位置を原点（０，０，０）とする３次元の直交座標系Ｘ−Ｙ−Ｚを取る。そして、撮像の光軸の方向をＺ軸とする。また、描画面３００および撮像面７００をＺ軸に（０，０，ｆ）で直交するように置く。ここで、ｆは焦点距離に相当する。

なお、撮像面の点（ｘ，ｙ）は、モニタ面の点（ｘ，ｙ）に対応するので、図３ではモニタ面は撮像面と一致する。
また、表示すべき原図画像は便宜上、左下を原点に置き、下辺および左辺をそれぞれＸ軸およびＹ軸に合わせるように置く。なお、以下の説明を簡潔にするために、原図画像の右下および左上の座標をそれぞれ（１，０，０）および（０，１，０）とする。

この座標系によれば、コンテンツの横幅および縦幅をそれぞれＸ軸およびＹ軸の単位（長さ＝１）となるように、座標の倍率を設定したことになる。なお、座標の倍率は定数を掛けることにより、任意に設定できるので、座標の単位を上記のように設定しても、一般性が失われることはない。
ここで、原図画像を同寸で撮像対象物８０上に投射画像として表示できたものと仮想しよう。このとき、原図画像中の任意の点（ｘ′，ｙ′，ｚ′）に対応する投射画像中の点を（Ｘ，Ｙ，Ｚ）とすると以下の（１）式が成立する。また、原図画像は、Ｘ−Ｙ平面に置かれているので、常にＺ＝０である。これを利用すると、上記の（１）式は、以下の（２）式のように簡潔にできる。なお、この関係は数学でアフィン変換と呼ばれている。

（２）式に含まれる９つの係数（ａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｄ１，ｄ２，ｄ３）は、以下のようにして値が決定される。すなわち、各参照基準点（○、□、△）に対応して、原図画像に設定される３つの基準点の座標は、それぞれ以下のようになっている。
第一の基準点 （ｘ′，ｙ′，ｚ′）＝（０，０，０）
第二の基準点 （ｘ′，ｙ′，ｚ′）＝（１，０，０）
第三の基準点 （ｘ′，ｙ′，ｚ′）＝（０，１，０）

また、撮像対象物８０上の投射画像において、これら基準点に対応する投射点の座標をそれぞれ以下のようにする。
第一の基準点の投射点： （Ｘ，Ｙ，Ｚ）＝（Ｘ１，Ｙ１，Ｚ１）
第二の基準点の投射点： （Ｘ，Ｙ，Ｚ）＝（Ｘ２，Ｙ２，Ｚ２）
第三の基準点の投射点： （Ｘ，Ｙ，Ｚ）＝（Ｘ３，Ｙ３，Ｚ３）
ここで、各基準点の投射点（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）の座標が与えられれば、３つの基準点およびその投射点に関する座標の値を（２）式に代入することにより、９元の連立方程式（（３）式）が得られる。これを解くことによって、９つの係数（ａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｄ１，ｄ２，ｄ３）の値を（４）式のようにすべて決定することができる。

また、上記の投射点に関する（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）の座標は、以下のようにして決められる。
すなわち、撮像対象物８０を撮像すると、撮像対象物８０の上に置かれて固有の識別マークをもった参照基準点が撮像される。このとき、投射画像における上記３つの投射点は、撮像対象物８０の上の参照基準点に一致すべきである。そこで、マーク検出部９００を使って撮像面７００の上での各参照基準点がもつ固有の識別マークを識別することにより、各参照基準点に対応する撮像面７００上の点の座標を求める。ここで、これらの座標の値をそれぞれ以下のようにする。
第一の参照基準点の撮像点： （ｘ，ｙ，ｚ）＝（ｘ１，ｙ１，ｆ）
第二の参照基準点の撮像点： （ｘ，ｙ，ｚ）＝（ｘ２，ｙ２，ｆ）
第三の参照基準点の撮像点： （ｘ，ｙ，ｚ）＝（ｘ３，ｙ３，ｆ）

同時に、距離測定部８００により、３つの参照基準点から撮像焦点までの距離Ｄを直接計測する。計測（測定）されたこれらの点までの距離Ｄをそれぞれ以下のようにする。
第一の参照基準点までの距離： Ｄ＝Ｄ１
第二の参照基準点までの距離： Ｄ＝Ｄ２
第三の参照基準点までの距離： Ｄ＝Ｄ３
ここで、三角形の相似関係を使うと、各参照基準点（対応する基準点の投射点）の座標および距離Ｄの値の間には以下の（５）式に示す関係が成立する。

こうして、（Ｘ１，Ｙ１，Ｚ１）、（×２、Ｙ２、Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）の値が決められる。このようにして、３つの参照基準点を用いて、（２）式における９つの係数（ａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｄ１，ｄ２，ｄ３）の値が（６）式のように確定する。

これにより、原図画像中の任意の点（ｘ′，ｙ′）は、（２）式、および（６）式で計算される（Ｘ，Ｙ，Ｚ）座標の値をもつ撮像対象物８０上の点に対応付けることができる。
次に、原図画像が仮想的に投射表示された撮像対象物８０を撮像した場合、撮像対象物８０上の点（Ｘ，Ｙ，Ｚ）の撮像点（撮像面上の対応する点）を（ｘ，ｙ，ｆ）とすると、以下のような（７）式の関係が成立する。

撮像面、モニタ面、描画面の座標は、すべて一致させているので、上記の座標（ｘ，ｙ，ｆ）はモニタ面および描画面上の対応する点の位置を表している。
そこで、原図画像中の任意の点（ｘ′，ｙ′）を撮像対象物８０の撮像面（従って、モニタ面）上に正しく重畳表示するために、描画面３００上に描画すべき点（ｘ，ｙ，ｆ）は、（２）式および以下の（７）式を使って、次に示す（８）式のように決定される。

このようにして、原図画像中の任意の点を撮像対象物８０のモニタ面上に正しく重畳表示するために、描画面３００上に描画すべきすべての点が（６）式および（８）式によって確定することができる。
次に、描画制御部２００での表示制御処理を図４に示すフローチャートを参照して詳しく説明する。
同図に示すように、描画制御部２００では、表示制御処理が実行されると、まず、ステップＳ２１２に処理が移行して、撮像対象物８０上の参照基準点の撮像面７００での位置情報（ｘ，ｙ）をマーク検出部９００から読み込んで、ステップＳ２１４に移行する。ステップＳ２１４では、上述した座標系での、距離測定部８００によって測定された距離情報、つまり各参照基準点までの距離Ｄが読み込まれて、ステップＳ５１０に移行する。

ステップＳ５１０では、各参照基準点の位置情報（ｘ，ｙ）および対応する距離Ｄの測定値を（６）式に代入して、上述した９つの係数（ａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｄ１，ｄ２，ｄ３）の値を算出し、ステップＳ６１０に移行する。
ステップＳ６１０では、原図記憶部１００に格納されている原図画像のすべての点（ｘ′，ｙ′）について所定の処理（以下のステップＳ７１０およびステップＳ８１０）が終了したか否かを判定し、終了したと判定したときは、ステップＳ９００にジャンプするが、終了していないと判定したときには、ステップＳ７１０に移行する。

ステップＳ７１０では、上述した（８）式に原図画像の点（ｘ′，ｙ′）を代入して、対応する描画面での位置（ｘ，ｙ）を計算し、ステップＳ８１０に移行する。次いで、ステップＳ８１０では、原図記憶部１００における点（ｘ′，ｙ′）の値、例えば色または濃淡の情報を読み出して、対応する描画面での位置（ｘ，ｙ）にその値を書込み、処理をステップＳ６１０に戻す。

そして、ステップＳ９００では、描画面に書込まれた描画情報をモニタ制御部５００に出力し、モニタ面４００に描画情報を重畳表示させて、ステップＳ９１０に移行する。ステップＳ９１０では、予め設定された所定時間だけ待機して、処理をステップＳ２１２に戻す。同図に示すように、この処理全体はループになっており、予め設定された所定の時間をおいて同じ処理を繰り返す。なお、「所定の時間」を短くすれば、撮像表示装置と撮像対象物８０との相対位置の変動に追随しやすくなる。

これにより、描画制御部２００は、前記距離測定手段および位置測定手段によってそれぞれ測定した各参照基準点の距離情報および位置情報に基づいて、各参照基準点および対応する各基準点のそれぞれが合致するような描画情報に表示情報を変換可能になっている。なお、上記倍率調整手段には、ステップＳ２１２からステップＳ８１０の処理が対応している。

次に、この第１の実施形態の撮像表示装置の動作について説明する。
この第１の実施形態の撮像表示装置では、例えば水道工事等の作業者が新たな上水道を敷設する場合、上述した例同様に、道路工事を行う場合の電気配管、電話線配管、ガス配管、上下水道配管等の各種配管敷設図のデータが重畳され且つマンホールの中心点等の参照基準点に対応する基準点を含んだ鳥瞰図と、各種配管敷設図のデータが重畳された断面図とを、例えば予め道路に設けられた参照基準点毎に形成して、この鳥瞰図等のデータを、参照基準点位置を表すデータと共に原図記憶部１００に記憶しておく。

そして、作業者は、この鳥瞰図等のデータを記憶した撮像表示装置８８を携帯して工事現場に行く。次いで、まず、作業者は、撮像表示装置８８への電源投入に先立って、一直線上にない３点の参照基準点を工事の敷設面に設定する。具体的には、作業者は、例えば工事該当箇所でのマンホールの中心点等を第一の参照基準点とし、その第一の参照基準点に対して、第二および第三の参照基準点となる物を配置する。第二および第三の参照基準点となる物としては、例えば識別用の識別マークを表示した識別マークプレートを用意し、この識別マークプレートを、表示情報内の各基準点に対応する敷設面上の位置に作業者が配置する。この各基準点に対応する配置位置としては、例えば第一の参照基準点を基準とし、第一の参照基準点に対して例えば東の方向へ１ｍの位置に第二の参照基準点をもつ識別マークプレートを設置し、同様に、第一の参照基準点に対して例えば北の方向へ１ｍの位置に第三の参照基準点をもつ識別マークプレートを設置する。なお、原図画像中には、第一の基準点に対し東および北へそれぞれ１ｍの場所に対応する位置に第二、第三の基準点が予め設定されている。このようにして、上述した撮像対象物８０での３つの参照基準点を現場で設定することができる。なお、識別マークプレートの配置に限らず、第一、第二、第三の基準点に対応する撮像対象物の撮像上の各々の位置を、例えばレーザーポインタで順次指示するようにしてもよい。この場合、マーク検出部を単純にすることができるため、コストを下げることが可能である。

次いで、作業者は、撮像表示装置８８へ電源を投入する。
電源が投入されると、撮像表示装置８８は、まず、撮像部７１０で、撮像対象物の情報を撮像面７００上で撮像して撮像画像を得る。次いで、マーク検出部９００が、撮像面７００内の撮像画像を走査して、参照基準点を検出し、その識別マークの識別コードと撮像面７００内の位置情報（ｘ，ｙ）とを獲得する。さらに、距離測定部８００が、マーク検出部９００から出力された識別マークの位置情報（ｘ，ｙ）を読み込んで、その位置情報（ｘ，ｙ）から、その点として撮像されている撮像対象物８０上の実際の点と撮像表示装置との距離Ｄを測定し、その測定した各参照基準点の距離Ｄを距離情報として獲得する。次いで、描画制御部２００が、距離測定部８００で測定した各参照基準点の距離情報とマーク検出部９００で測定した位置情報とに基づいて、撮像対象物８０のモニタ面上に重畳表示する表示情報の基準点の表示と撮像対象物８０上の参照基準点のモニタ面上での表示とが合致するような重畳表示用の描画情報を表示情報から変換する。そして、描画制御部２００で変換された描画情報が描画面３００上に格納される。そして、描画面３００に格納されている描画画像をモニタ制御部によって撮像対象物８０のモニタ面上に重畳表示することができる。

次に、上記第１の実施形態で説明した撮像表示装置の作用・効果について説明する。
上記説明した構成からなる撮像表示装置８８では、描画制御部２００は、距離測定部８００によって測定した３点の参照基準点の距離情報およびマーク検出部９００によって測定した３点の参照基準点の位置情報に基づいて、各参照基準点および対応する各基準点のそれぞれが合致するような描画情報に表示情報を変換している。

これにより、この撮像表示装置８８によれば、実物の撮像を表示するモニタ面に対して表示情報の嵌め込みを容易に行なうことができる。すなわち、例えば任意の電子化されたコンテンツをモニタ面上で同寸で表示できる。特に、撮像対象物８０が傾斜している場合等、撮像対象物８０が撮像表示装置８８の正面に垂直に正立していなくても、コンテンツを歪みなく表示できる。

したがって、工事現場での敷設面であれば、その埋設位置の地面に埋設されている配管状況を表す図面を、工事する敷設面のモニタ面に重畳表示して、上述のように埋設位置の地面にある例えばマンホールの中心点や、水準点等を参照基準点とし、この参照基準点に表示情報の基準点を合致させて表示可能である。なお、このとき必要な３つの参照基準点は、たとえば上述の識別マークプレートを、対応する敷設面上の位置に作業者が配置しておけばよい。これにより、敷設面のモニタ面上での表示情報の表示を例えば同寸に設定しておけば、現状を瞬時に把握することができ、工事等を的確に行うことができるという効果が得られる。

また、距離測定部８００によって撮像対象物８０までの距離が自動的に測定されるため、例えば移動によって測定距離が変化しても、それに応じて煩わしい調整をその都度行う必要もない。
なおまた、上記第１の実施形態での説明において、（２）式は、撮像対象物８０の大きさが表示すべきコンテンツの同寸、つまり本来の大きさに対応しない場合にも成立する。そして、（３）式から（８）式も同様に成立する。したがって、図４に示した処理によって、撮像対象物８０の大きさが、表示すべきコンテンツと同寸でない場合であっても、コンテンツが自動的に拡大または縮小されて撮像対象物８０のモニタ面に嵌め込まれて表示可能である。

なお、上記実施形態では、原図記憶部１００は、ＲＡＭ（ランダムアクセスメモリ）で構成されている例で説明しているが、コンテンツを原図記憶部に保持する手段は、ＲＡＭに限定されるものではなく、例えばメモリカードや、有線ないし無線による読み込みなどを使用できる。なおまた、複数のコンテンツを撮像表示装置８８の内部や外部に備えた原図記憶部に格納しておき、撮像対象物８０の上に置かれた識別コードを読み取ることにより、複数のコンテンツの中から該当するコンテンツを適宜選択するようにしてもよい。

なおまた、上記実施形態では、参照基準点は可視表示される例で説明したが、これに限定されず、各参照基準点に固有の識別マークは、上記のマーク検出部９００によって検出できるものであれば、必ずしも人間の目に見えるものでなくてもよい。
また、これら参照基準点は、必ずしも撮像対象物に固定されている必要はなく、重畳表示する際に個々の参照基準点の位置を、例えば指示棒やレーザポインタ等を使用して指示するように構成することも可能である。

なお、上記実施形態では、原図記憶部に格納した原図画像のすべての点（ｘ′，ｙ′）について、描画面での対応する点（ｘ，ｙ）を求め、原図画像の値を設定する方式を説明した。
この画像変換を行う際の計算精度が低い場合、（ｘ，ｙ）の計算値に丸め誤差が含まれる。そのため、本来は原図画像の値を設定すべき点（ｘ，ｙ）の一部が計算でもとまらないことが発生し得る。この場合には、描画した画像に"穴"が空くことになる。
そこで、（８）式を（ｘ′，ｙ′）について解いた式を用意し、描画面のすべての点（ｘ，ｙ）について、原図画像での対応する点（ｘ′，ｙ′）を求め、その位置の原図画像の値を設定するように構成することも可能である。
この方式によれば、描画した画像に"穴"が空くことを避けることができる。

ここで、上述した第１の実施形態においては、原図画像の中の任意の点（ｘ′，ｙ′）を撮像対象物８０のモニタ面上に正しく重畳表示するために、描画面３００上に描画すべき点（ｘ，ｙ，ｆ）は、上述の（８）式を使って計算されるが、このときの（８）式は、（２）式を使って導かれている。そして、（２）式は、撮像対象物８０が平面であるという前提に基づいている。しかし、仮に、撮像対象物８０が工事現場の敷設面であれば複合する面や凹凸形状等、があって、撮像対象物８０が単一の面によって形成されていない場合がありうる。このような場合には、（２）式での、特にＺについてその計算値と実測値との間に誤差が生じる。その結果、撮像対象物８０のモニタ面上の重畳表示画像には同寸から外れる部分ができる。

そこで、次に、第２の実施形態として、このように撮像対象物８０が単一の面によって形成されていない場合であっても、重畳表示画像の誤差を削減することができる撮像表示装置について説明する。
（２）式でのＺは、撮像表示装置と撮像対象物との距離である。上記第１の実施形態では、このＺを（２）式から計算して求めたが、この第２の実施形態では、撮像対象物８０の上に、複数の代表点を設定し、それらの代表点と撮像表示装置との距離を測定して記憶しておき、上記Ｚの値を代表点の距離から推定するものである。

第２の実施形態における描画制御部での処理を図５に示すフローチャートを参照しつつ説明する。なお、図５に示す第２の実施形態での処理と図４に示す第１の実施形態での処理との相違は、以下に説明する〔１〕、〔２〕および〔３〕の３点であり、図４でのステップＳ５１０に代えて、図５でのステップＳ５２０からステップＳ５２６が、また、図４でのステップＳ７１０に代えて、図５でのステップＳ７２０からステップＳ７２４が、それぞれ実行されるようになっている点が異なっている。

具体的には、第２の実施形態では、「〔１〕係数同定処理」を変更している。すなわち、図５でのステップＳ５２０にて、９つの係数（ａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｄ１，ｄ２，ｄ３）のうち、６つの係数（ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２）だけを、次の（９）式で計算する。

そして、ステップＳ５２０で、６つの係数（ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２）の値を決定した後、次いで、ステップＳ５２２に移行して、「〔２〕代表点の設定と、距離の測定を処理に追加」している。すなわち、撮像対象物８０に対応する撮像画面の上に、ｎ個の代表点｛（ｘｉ，ｙｉ）；ｉ＝１，ｎ｝を設定する。そして、ステップＳ５２４に移行して、各点（ｘｉ，ｙｉ）に対応する撮像対象物８０上の代表点までの距離Ｄｉを、距離測定部８００を使って測定する。なお、距離測定部８００は、代表点の距離情報を計測する代表点計測手段を兼ねている。
ここで、撮像画面上の代表点（ｘｉ，ｙｉ）と、それに対応する撮像対象物８０上の代表点（Ｘｉ，Ｙｉ，Ｚｉ）の間には、以下の（１０）式の関係が成立する。

さらに、ステップＳ５２６に移行して、撮像対象物８０上のこれらｎ個の代表点｛（Ｘｉ，Ｙｉ，Ｚｉ）；１＝１，ｎ｝を記憶する。
さらにまた、第２の実施形態では、「〔３〕描画点の計算処理を変更」している。すなわち、図５でのステップＳ７２０にて、原図画像の中の任意の点（ｘ′，ｙ′）について、以下の（１１）式を使って、撮像対象物８０上の対応する対応点のＸ座標およびＹ座標を計算する。

そして、この（Ｘ，Ｙ）を上記のｎ個の代表点｛（Ｘｉ，Ｙｉ，Ｚｉ）；ｉ＝１，ｎ｝のＸ座標およびＹ座標と比較し、当該（Ｘ，Ｙ）に最も近い２つの代表点（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）を選出する。次いで、当該対応点のＺ座標を２つの代表点の加重平均として以下の（１２）式により推定する。ここで、仮に、Ｘ１＝Ｘ２の場合には、（１２）式の全てのＸをＹに置き換えた式で計算する（図４でのステップＳ７２２）。

そして、ステップＳ７２４にて、以上のようにして計算された（Ｘ，Ｙ，Ｚ）を（７）式に代入して、この対応点に対応する描画点の（ｘ，ｙ）を求めることができる。
以上説明したように、この第２の実施形態の描画制御部２００は、代表点ごとの距離情報に基づいて、各代表点に対応する領域ごとに、所望の描画情報に表示情報を調整することが可能となる。これにより、撮像対象物８０が平面でなくとも、重畳表示する画像の誤差を削減することができる。したがって、歪みを最小限に抑えてコンテンツ（表示内容）が重畳表示される。そのため、例えば工事現場の敷設面であれば複合する面や凹凸形状等があって、撮像対象物８０が単一の面によって形成されていない場合でも、複合する面や凹凸形状等での歪みをほとんど生じないようにしてコンテンツを重畳表示可能になるという効果がある。

次に、第３の実施形態として、上述した距離測定部８００を不要とする構成について説明する。
この第３の実施形態の撮像表示装置では、図６に示すように、上記第１の実施形態での構成に対して距離測定部８００をもたない点が異なっている。すなわち、この第３の実施形態の描画制御部は、原図画像を変換して描画画像を生成する際に、原図記憶部１００からの情報、撮像面７００からの情報、およびマーク検出部９００からの情報のみを参照するようになっている。

第３の実施形態での撮像対象物の構成を図７に示す。
同図に示すように、この撮像対象物８１では、参照基準点を４点設定している点が、上記第１の実施形態での撮像対象物８０の構成に対して異なっている。
詳しくは、この撮像対象物８１では、一直線上にない４つの参照基準点が設定される。すなわち、同図に示すように、第一の参照基準点２１０、第二の参照基準点２２０、第三の参照基準点２３０、および第四の参照基準点２４０が設定されている。各参照基準点は、それぞれ撮像対象物８１の左下、右下、左上、右上に位置しており、固有の識別マーク（例えば、○、□、△、×）で示される。なお、各参照基準点に固有の識別マークは、上記第１の実施形態と同様に、マーク検出部９００が検出できるものであれば、必ずしも人間の目に見えるものでなくてもよい。また、参照基準点は、予め設置されている必要はなく、重畳表示時に配置または指示するようにしてもよい。

第３の実施形態における描画制御部での処理を図８に示すフローチャートに示す。なお、第１の実施形態における図４に示す描画制御部での処理と図８に示す第３の実施形態での処理との相違は、図４でのステップＳ２１４およびステップＳ５１０に代えて、図８でのステップＳ５３０が実行されるようになっている点が異なっている。ここで、ステップＳ５３０が、上記距離演算手段に対応している。
また、図４でのステップＳ７１０に代えて、図８でのステップＳ７３０が実行されるようになっている点が異なっている。

ここで、この第３の実施形態での描画制御部の機能（上述したフローチャートにおけるステップＳ５３０での処理）を図３に示した座標系を使って詳しく説明する。なお、同図において、原図画像の右上の座標を（１，１，０）とする。
上記第１の実施形態で説明したように、原図画像中の任意の点（ｘ′，ｙ′）を撮像対象物のモニタ面上に正しく重畳表示するために、描画面上に描画すべき点（ｘ，ｙ，ｆ）は、次に示す（１３）式のように決定される。

各参照基準点（○、□、△、×）に対応して、原図画像に置かれた４つの基準点の座標は、それぞれ以下のようになっている。
第一の基準点 （ｘ′，ｙ′，ｚ′）＝（０，０，０）
第二の基準点 （ｘ′，ｙ′，ｚ′）＝（１，０，０）
第三の基準点 （ｘ′，ｙ′，ｚ′）＝（０，１，０）
第四の基準点 （ｘ′，ｙ′，ｚ′）＝（１，１，０）

撮像対象物を撮像すると、撮像対象物に置かれて固有の識別マークをもった参照基準点が撮像される。次いで、マーク検出部によって撮像面上での識別マークを識別することにより、それぞれの参照基準点に対応する撮像面上での撮像点の座標を求めることができる。これら撮像点の座標の値をそれぞれ以下のようにする。
第一の参照基準点の撮像点： （ｘ，ｙ，ｚ）＝（ｘ１，ｙ１，ｆ）
第二の参照基準点の撮像点： （ｘ，ｙ，ｚ）＝（ｘ２，ｙ２，ｆ）
第三の参照基準点の撮像点： （ｘ，ｙ，ｚ）＝（ｘ３，ｙ３，ｆ）
第四の参照基準点の撮像点： （ｘ，ｙ，ｚ）＝（ｘ４，ｙ４，ｆ）

逆に、上記の基準点を撮像対象物のモニタ面上に正しく重畳表示するためには、描画面上での対応する描画点の座標をそれぞれ撮像点と一致するように、つまり以下のようにすればよい。
第一の基準点の描画点： （ｘ，ｙ，ｆ）＝（ｘ１，ｙ１，ｆ）
第二の基準点の描画点： （ｘ，ｙ，ｆ）＝（ｘ２，ｙ２，ｆ）
第三の基準点の描画点： （ｘ，ｙ，ｆ）＝（ｘ３，ｙ３，ｆ）
第四の基準点の描画点： （ｘ，ｙ，ｆ）＝（ｘ４，ｙ４，ｆ）
ここで、４つの基準点およびその描画点に関する座標の値を（１３）式に代入することにより、８元の連立方程式（１４）式が得られる。

ただし、Ｌ１，Ｌ２，Ｌ３，Ｍ１，Ｍ２，Ｍ３，Ｎ１，Ｎ２は、以下の（１５）式で定義される補助変数である。

これを解くことによって、８つの係数（Ｌ１，Ｌ２，Ｌ３，Ｍ１，Ｍ２，Ｍ３，Ｎ１，Ｎ２）の値を（１６）式のようにすべて決定することができる。

そして、これらの係数を使って、（１３）式を書き直すと以下の（１７）式を得る。

以上のようにして、原図画像中の任意の点を撮像対象物のモニタ面上に正しく重畳表示するために必要な、描画面上に描画すべきすべての描画点が（１７）式および（１６）式によって確定することが可能になる。
一般に高精度な距離測定部は高価である。また、安価な距離測定部では測定誤差が大きくなる可能性があり、（６）式で算出する係数が不確定になり得る。特に、｛ａ３，ｂ３，ｄ３｝の３つの係数は、（８）式での分母に位置するので、（８）式で計算される（ｘ，ｙ）の値が不安定になり、重畳表示画像に歪みが生じるおそれがある。しかし、この第３の実施形態の撮像表示装置によれば、距離測定部８００を不要とする構成を採用して、数学的に変換係数を算出することが可能である。これにより、高精度な距離測定部を使用することなく、コストを抑えながら撮像対象物のモニタ面にコンテンツを歪みなく重畳表示できるようになるという効果がある。

ここで、上記第１〜第３の各実施形態においては、マーク検出部９００は、予め設定された識別マークを検出する例について説明したが、本発明はこれに限定されるものではなく、本発明のマーク検出部９００を、特徴的な形状を識別可能に構成することができる。
以下、第４の実施形態において、このような構成例について説明する。
第４の実施形態は、マーク検出部９００が、撮像面７００に置かれた画像情報を処理して、特徴的な形状（例えば、直線、角、円、多角形、格子模様、突起部など、およびこれらの組み合わせ）を識別する。なお、画像情報からこれらの特徴的な形状を識別するための方式は、既に種々のものが提案されているので、ここでは改めて説明しない。

描画制御部２００は、識別された特徴的な形状を原図記憶部１００の中で検索し、対応するものを検索できたときは、それぞれ参照基準点および基準点として採用する。
この第４の実施形態の撮像表示装置によれば、参照基準点を予め設置しておく必要がなく、参照基準点の設置・維持のためのコストをかけずに撮像対象物のモニタ面にコンテンツを歪みなく重畳表示できるようになるという効果がある。

ここで、上記第１〜第４の各実施形態においては、本発明の撮像表示装置を単体で使用する例について説明したが、本発明はこれに限定されるものではなく、本発明の撮像表示装置を、例えばＩ／Ｆ（インターフェース）を介して外部機器と接続して、外部機器との間で種々の情報を授受可能に構成することができる。そこで、以下、第５〜７の各実施形態において、このような構成例について説明する。

まず、本発明の第５の実施形態について説明する。
上記各実施形態では、撮像対象物８０に予め設定された参照基準点の位置と撮像表示装置８８との位置関係を計測することにより、コンテンツ（表示情報）を描画する画像変換係数を算出し、撮像対象物のモニタ面上でのコンテンツの表示寸法が同寸となるように描画を自動的に調節する例について説明したが、この第５の実施形態では、外部機器との間で情報を授受可能なＩ／Ｆとして、距離測定部Ｉ／Ｆを備える構成としている。そして、撮像表示装置とは別個に用意したレーザポインタを利用し、コンテンツ内に設定された基準点の撮像対象物における各々の位置（参照基準点が設定されるべき位置）を順次指定可能に構成した例である。

まず、本発明の第５の実施形態の撮像表示装置の構成について図９を参照しつつ説明する。なお、同図では、上述した第１の実施形態と同様の構成については、図示を省略して示している。
この第５の実施形態では、上述した各参照基準点が設定されるべき撮像対象物上での位置を指定する参照基準点指定手段として、撮像表示装置８８とは別個のレーザポインタ１５０を使用する。このレーザポインタ１５０は、計測指示ボタン１５１を有する。計測指示ボタン１５１は、当該計測指示ボタン１５１が押されると、距離計測の開始を指示するトリガ信号を出力可能になっている。そして、このレーザポインタ１５０は、距離計測のために使用する信号として、参照基準点の識別コードをもったパルス状のレーザ光１５０ａを一定間隔で発射可能になっている。これにより、このレーザポインタ１５０は、コンテンツ（表示情報）内に設定された基準点の撮像対象物８０における各々の位置（参照基準点が設定されるべき位置）を順次、動的に指定可能になっている。

また、この撮像表示装置８８には、同図に示すように、外部との情報を授受可能なＩ／Ｆとして、「距離測定部Ｉ／Ｆ」１６０を備えている。距離測定部Ｉ／Ｆ１６０は、距離測定部８００に対して距離計測の開始を指示する上記トリガ信号が入力される計測トリガ端子と、距離計測のために使用する信号（例えば上記パルス状のレーザ光１５０ａ）を入力する同期信号端子と、を有する。

さらに、この第５の実施形態での距離測定部８００は、外部から当該距離測定部８００に対して距離計測の開始を指示するトリガ信号が計測トリガ端子を介して入力されると、計測トリガがオンになった時点で、同期信号と撮像対象物からの反射波とを比較（例えば、時間差や位相差を検出）することにより、撮像対象物８０と撮像表示装置８８との距離を計測可能に構成されている。

以上のような構成を備えた第５の実施形態の撮像表示装置８８によれば、参照基準点が予め撮像対象物８０上に設定されていなくても、撮像表示装置８８とは別個のレーザポインタ１５０を利用して、上記の画像変換係数を算出することができる。
すなわち、今、利用者が、レーザポインタ１５０から発射されているレーザ光１５０ａを、参照基準点が設定されるべき位置に合わせて計測指示ボタン１５１を押す。これにより、距離計測の開始を指示するトリガ信号が本撮像表示装置８８の距離測定部Ｉ／Ｆ１６０がもつ計測トリガ端子に入力される。そして、距離測定部８００は、計測トリガ端子がオンになった直後の同期信号と反射波との時間的な遅れを計測することにより、指示された点までの距離を計算することができる。同時に、マーク検出部９００は、すでに説明しているように、指示された点の撮像面での座標を検出可能であるから、これら距離情報と座標の位置情報とをそれぞれ用いて画像変換係数を算出することができる。なお、これら距離情報と座標の位置情報とを用いた画像変換係数の算出方法は、上記第１の実施形態で既に説明したため詳しい説明は省略する。

以上説明したように、この第５の実施形態の撮像表示装置８８によれば、撮像対象物８０に予め参照基準点を設置する必要がない。そのため、例えば参照基準点の汚れ、剥がれ、ないしは破損等を予防したり点検修理するといった手間やコストが不要になる。なお、３つの参照基準点を指示している最中に、撮像表示装置８８が動く（座標系が変わってしまう）、あるいは撮像対象物８０が動く（測定済みの参照基準点が変わってしまう）等がある場合には、この第５の実施形態の撮像表示装置８８をそのまま適用するのは難しいが、相対関係が動かない場合には、当該構成の撮像表示装置８８を好適に採用可能である。

次に、本発明の第６の実施形態について説明する。
この第６の実施形態は、例えば、検査対象となっている実物（当該検査対象が撮像対象物となる）とＣＡＤ図面（表示情報）とを比較して、差異を検出可能とし、検査対象の例えば表面欠陥検査などを自動化するような場合に本発明の撮像表示装置を適用した例である。

詳しくは、この第６の実施形態での撮像表示装置においては、表示情報に設定する検証点と、その検証点に対応して検証対象に設定する参照検証点との相対関係を検出する相対関係検出手段を有する点が、上記各実施形態の構成とは異なっている。ここで、表示情報に設定する検証点および撮像対象物となる検証対象に設定する参照検証点は、それぞれ上記基準点および参照基準点にそれぞれ対応する関係であり、上記基準点および参照基準点と同様にして対応付け可能であるため、ここでは詳しい説明は省略する。なお、検証点は、コンテンツ（表示情報）内に予め設定する。例えば、特定部品の取り付け点（位置）などが検証点として設定される。そして、参照検証点は、検証対象に、コンテンツ（表示情報）内に設定された検証点の位置に対応して設定される。なお、参照検証点において検索されるマーク（検証識別マークと称す）の設定ならびにマーク検出部での検証識別マークの識別についても、上述した特定識別マークにおける、当該特定識別マークの設定ならびにその識別と同様にして実行されるため、ここでは詳しい説明については省略する。

まず、本発明の第６の実施形態での撮像表示装置の構成を、図１０を参照しつつ説明する。なお、同図では、上述した第１の実施形態と同様の構成については、図示を省略して示している。
同図に示すように、この撮像表示装置８８では、外部機器との情報を授受可能なＩ／Ｆとして、「マーク検出部Ｉ／Ｆ」１７０を備えている。このマーク検出部Ｉ／Ｆ１７０は、撮像対象物（検証対象）において検証識別マークを探索するために、マーク検出部９００に対して撮像面７００内での探索すべき所定の領域を指示する検証領域指定端子と、指定した所定の検証領域内で検出された検証識別マークに関する情報（検証識別マークの固有コード、座標、濃淡など。但し、検証識別マークが検出されなかった場合は「０」。）を出力する検証識別マーク情報端子と、これら各端子の入出力をそれぞれ指示する「Ｒｅａｄ／Ｗｒｉｔｅ（以下、Ｒ／Ｗと記す）トリガ」端子とを有する。マーク検出部Ｉ／Ｆ１７０は、Ｒ／Ｗトリガが、外部機器（この例では、ＰＣ１９０）から「Ｗ（Ｗｒｉｔｅ）」を指定されると、検証領域指定端子で指定された所定の検証領域の情報（例えば、撮像面７００における矩形エリアの左下点および右上点の座標）がマーク検出部９００に入力される。また、Ｒ／Ｗトリガが、ＰＣ１９０から「Ｒ（Ｒｅａｄ）」を指定されると、指定された所定の検証領域内で検出された検証識別マークに関する情報が識別マーク情報端子から読出し可能に構成されている。ここで、Ｒ／Ｗトリガへの各指定および情報の読出し、並びに書込みは、ＰＣ１９０内の相対関係検出手段１９１での相対関係検出処理に従って実行される。

相対関係検出手段１９１は、表示情報に設定する検証点と、その検証点に対応して検証対象に設定する参照検証点との相対関係を検出可能に構成されており、参照検証点の状態が、検証点で指定された状態にあるか否かを判定可能になっている。
詳しくは、ＰＣ１９０内で相対関係検出処理が実行されると、相対関係検出手段１９１は、まず、コンテンツ（表示情報）内の検証点の座標を、描画面３００における座標、つまり撮像面７００における座標に変換する。そして、この変換された座標を基準として検出したい検証対象の大きさを加えて検証領域の座標（例えば、矩形エリアの左下点および右上点の座標）を計算し、マーク検出部Ｉ／Ｆ１７０の検証領域指定端子を介してマーク検出部９００に設定するようになっている。

そして、相対関係検出手段１９１は、Ｒ／Ｗトリガ端子を「Ｒ」にして検証識別マーク端子から指定した所定の領域内で検出された検証識別マークに関する情報をマーク検出部９００から読み出す。なお、必要に応じて、その他の手段から、各検証識別マークまでの距離や、検証識別マーク周辺の撮像画像、検証識別マークに対する各種センサ情報（例えば、温度など）などを併せて取得するように構成してもよい。

そして、相対関係検出手段１９１は、これらの情報と、コンテンツ（表示情報）内に設定された検証点に関する状態情報とを比較する。例えば、参照検証点までの距離によって撮像対象物８０の凹凸を検出し、部品の有無を判定可能に構成することができる。また、参照検証点周辺の撮像画像を参照し、検証対象となる部品の取り付け位置のズレの有無を判定するように構成することも可能である。なお、本実施形態では、外部のＰＣ１９０内の相対関係検出手段１９１で相対関係検出処理が実行される例で説明したが、これに限定されるものではなく、相対関係検出処理を実行する当該相対関係検出手段１９１を、撮像表示装置８８の内部に備えた構成としてもよい。

以上説明したように、この第６の実施形態の撮像表示装置８８によれば、参照検証点の状態が、検証点で指定された状態にあるか否かを容易に判定することができる。したがって、例えば検査対象となっている実際の部品（撮像対象物）とＣＡＤ図面（表示情報）とを比較し、その差異を検出できるので、検査対象の表面欠陥検査等を自動化するといった用途に好適に適用することができる。また、例えば、撮像対象物８０となっている装置の参照検証点に、検証点で指定された検査対象である特定部品が正しく取り付けられているか否かを自動的に検証するといった用途に好適に適用することができる。また、各種装置の取付け工事などで、装置の取付け位置などの表示が可能であるため、実績との差異を検出、収集、ないし記録をするといった用途に好適に適用することができる。さらに、例えばＣＡＤ図面が実物と一致しない場合、ＣＡＤ図面を実物に合致するように修正し易くなる。さらにまた、実物（撮像対象物）における部品などの取り付けや、取り外しなどの状況の変化を検出できる。なおさらに、例えば、もとの状況を記録しておき、状況を変更して再び復元した際に、もとの状況記録（コンテンツ）と復元状況（撮像対象物）とを比較するといった用途等にも好適に適用可能であり、この場合、もとの状況の復元作業を正確に手早く進め易くなる。

次に、本発明の第７の実施形態について説明する。
この第７の実施形態での撮像表示装置は、コンテンツ（表示情報）内で特に利用者に対して特に指示したい部分等の特定の情報を、撮像対象物のモニタ面における正しい位置に表示可能な特定情報付加手段を有する構成とした例である。
まず、本発明の第７の実施形態での撮像表示装置の構成を図１１を参照しつつ説明する。なお、同図では、上述した第１の実施形態と同様の構成については、図示を省略して示している。

この撮像表示装置８８では、外部との情報を授受可能なＩ／Ｆとして、「原図記憶部Ｉ／Ｆ」１８０を備えている。原図記憶部Ｉ／Ｆ１８０は、原図記憶部１００に対してその内容を入出力する原図内容端子と、入力か出力かの別を指示するＲ／Ｗトリガ端子とを有する。Ｒ／Ｗトリガが「Ｒ」に指定されると、原図記憶部の内容が原図内容端子に読み出される。また、Ｒ／Ｗトリガが「Ｗ」に指定されると、原図内容端子に入力された内容が原図記憶部１００に書込まれるようになっている。ここで、Ｒ／Ｗトリガへの各指定および情報の読出し、並びに書込みは、後述するＰＣ１９０内の特定情報付加手段１９２での特定情報付加処理に従って実行される。

なお、本実施形態では、上記第６の実施形態同様、外部のＰＣ１９０内の特定情報付加手段１９２で特定情報付加処理が実行される例で説明しているが、これに限定されるものではなく、当該特定情報付加手段１９２を、撮像表示装置８８内部に備えた構成としてもよい。
この特定情報付加手段１９２は、特定情報付加処理が実行されると、まず、原図記憶部Ｉ／Ｆ１８０のＲ／Ｗトリガを「Ｒ」に指定して、原図記憶部１００の内容を原図内容端子に読み出すようになっている。そして、表示情報での利用者に対して指示したい所定の位置に予め書込みを指定されている特定情報（例えば表示マーク）を表示情報に重ねた表示情報を生成する。そして、特定情報付加手段１９２は、Ｒ／Ｗトリガを「Ｗ」にして、原図内容端子を介して特定情報を含んだ表示情報を原図記憶部１００に書込み可能に構成されている。

このような構成によれば、表示情報中の所定の位置に特定情報（表示マーク）を表示することができる。そのため、例えば複雑な構造物や、見慣れない対象において、関心のある特定の個所に特定情報を表示すれば瞬時に当該箇所を指摘したり把握することができる。また、例えば、検査すべき部位の指示や、部品等の取り付け位置の指示などを、当該特定情報を設定することによって、より効率良く行える。また、特定個所に関する参考情報等をその部位の近くに特定情報として併せて表示することができる。

なお、上記特定情報付加処理において、特定情報は原図記憶部１００の特定個所に静的に設定するだけではなく、一定時間毎に特定情報を「書込む・元に戻す」の処理を繰り返すことにより、点滅表示（ブリンク）させるように構成してもよい。
さらに、上記特定情報付加手段１９２は、単に表示マーク（特定情報）を表示する例で説明したが、これに限定されるものではなく、例えば撮像対象物における所定のセンサ（例えば温度計など）の計測値分布等を特定情報として表示させる構成とすることが可能である。

詳しくは、特定情報付加手段１９２は、撮像対象物８０における位置情報と、その位置での所定のセンサからの計測値分布（計測値）とを特定情報として受け取るように構成する。そして、原図記憶部１００における点の座標（ｘ′，ｙ′，０）と、それに対応する撮像対象物８０での点の座標（Ｘ，Ｙ，Ｚ）との上記変換式を使って、所定のセンサからの計測値分布（計測値）の撮像対象物８０における位置情報（Ｘ，Ｙ，Ｚ）を原図記憶部１００における座標（ｘ′，ｙ′，０）に変換する。そして、点（Ｘ，Ｙ，Ｚ）における計測値を座標（ｘ′，ｙ′，０）に設定することにより、原図記憶部１００の表示情報に当該特定情報を加えた画像情報を生成するように構成する。そして、この内容を、原図記憶部Ｉ／Ｆ１８０の原図内容端子から、Ｒ／Ｗトリガを「Ｗ」に指定して、原図記憶部１００に書込む処理を実行する構成とする。

このような構成によれば、所定のセンサの計測値分布を加えて、直接構造物のモニタ面に重畳表示できるので、例えば構造物の部分毎の目に見えない情報を把握し易くなるという効果がある。ここで、所定のセンサの計測値分布としては、例えば、熱・電磁波・荷重（ストレス）などの物理量を例示できる。
また、上記所定のセンサの出力に替えて、アプリケーションプログラムからの出力を使った特定情報とし、原図記憶部の表示情報に当該特定情報を加えた画像情報するように構成することもできる。このような構成によれば、アプリケーションプログラムが作り出した画像が、撮像対象物のモニタ面において同寸で表示される。したがって、有限要素解析や各種シミュレーションの結果を直接構造物のモニタ面に重畳表示できるので、構造物の部分毎の目に見えない情報を把握し易くなる。すなわち、例えば非破壊検査による物理量等を直接構造物のモニタ面に重畳表示することもできるので、構造物の目に見えない中身の状態を透視するがごとく分かり易く説明することができるという効果もある。

次に、本発明の第８の実施形態について説明する。
上記第１〜第７の各実施形態においては、本発明の撮像表示装置は撮像部を一体として含む例について説明したが、本発明はこれに限定されるものではなく、本発明の第８の実施形態での撮像表示装置は、装置１（撮像部）と装置２（それ以外の部分）とで構成され、撮像情報をネットワークまたはメモリカードなどを経由して装置１から装置２へ送るように構成する。このような構成によれば、広く普及しているデジタルカメラやカメラ付き携帯電話などを装置１（撮像部）として利用することができ、本発明を安価で容易に実現できる。

次に、本発明の第９の実施形態について説明する。
上記第１〜第８の各実施形態においては、本発明の撮像表示装置は撮像対象物を基準として、原図記憶部のコンテンツを変換し、モニタ面の上に撮像対象物の像を表示し、その上に変換したコンテンツを重畳表示する例について説明したが、本発明はこれに限定されるものではなく、原図記憶部のコンテンツを基準として、撮像対象物の撮像画像を変換し、モニタ面の上にコンテンツをそのまま表示し、その上に変換した撮像対象物の撮像画像を重畳表示するように構成することができるのは勿論である。１つの変換式によって、撮像面の点と描画面の点とが相互に対応付けが可能だからである。この本発明の第９の実施形態によれば、客観的で明瞭な図面を基準にして、撮像対象物の状態を容易に明確に把握できる。
なお、本発明に係る撮像表示装置は、上記例示した各実施形態に限定されるものではなく、本発明の趣旨を逸脱しなければ種々の変形が可能であることは勿論である。

本発明に係る撮像表示装置の第１の実施形態の構成を説明するための説明図である。 本発明の第１の実施形態での撮像対象物の一例を説明するための説明図である。 本発明の第１の実施形態での描画制御部の機能を説明するための座標系を示す説明図である。 本発明の第１の実施形態での描画制御部の処理を説明するフローチャートである。 本発明の第２の実施形態での描画制御部の処理を説明するフローチャートである。 本発明の第３の実施形態での撮像表示装置の構成を説明するための説明図である。 本発明の第３の実施形態での撮像対象物の構成を説明するための説明図である。 本発明の第３の実施形態での描画制御部の処理を説明するフローチャートである。 本発明の第５の実施形態での撮像表示装置の構成を説明する説明図である。 本発明の第６の実施形態での撮像表示装置の構成を説明する説明図である。 本発明の第７の実施形態での撮像表示装置の構成を説明する説明図である。

符号の説明

８０…撮像対象物、８８…撮像表示装置、９０…筐体、１００…原図記憶部、１５０…レーザポインタ（参照基準点指定手段）、１５１…計測指示ボタン、１６０…距離測定部Ｉ／Ｆ、１７０…マーク検出部Ｉ／Ｆ、１８０…原図記憶部Ｉ／Ｆ、１９０…ＰＣ（パーソナルコンピュータ）、１９１…相対関係検出手段、１９２…特定情報付加手段、２００…描画制御部、２１０…第一の参照基準点、２２０…第二の参照基準点、２３０…第三の参照基準点、２４０…第四の参照基準点、３００…描画面、４００…モニタ面、５００…モニタ制御部、６００…集光レンズ、７００…撮像面、８００…距離測定部、９００…マーク検出部

Claims (10)

1. 一直線上にない少なくとも３点の基準点を設けた表示情報を記憶する表示情報記憶手段と、該表示情報記憶手段で記憶している表示情報の前記基準点にそれぞれ対応する参照基準点を設ける撮像対象物を撮像面上で撮像する撮像手段と、前記撮像面上の各参照基準点の撮像位置を測定する位置測定手段と、前記撮像対象物上の各参照基準点と前記撮像手段の撮像面との距離を測定する距離測定手段と、前記位置測定手段で測定した位置情報と前記距離測定手段で測定した各参照基準点の距離情報とに基づいて、前記表示情報の基準点の表示と前記撮像対象物の撮像上の参照基準点とが合致するような重畳表示用の描画情報を、前記表示情報から変換する倍率調整手段と、該倍率調整手段で変換した描画情報を格納する重畳表示用描画手段と、該重畳表示用描画手段に格納された描画情報を前記撮像対象物の撮像上に重畳表示する重畳表示手段とを備えていることを特徴とする撮像表示装置。
2. 請求項１に記載の撮像表示装置において、
   さらに、前記撮像対象物上に複数の代表点を設定するとともに、当該複数の代表点と前記撮像手段の撮像面との距離を計測する代表点計測手段と、を備えており、
   前記倍率調整手段は、前記描画情報を、当該代表点ごとに計測された距離情報に基づいて、各代表点を含む撮像対象物の撮像上の領域ごとに、前記表示情報から変換することを特徴とする撮像表示装置。
3. 一直線上にない少なくとも４点の基準点を設けた表示情報を記憶する表示情報記憶手段と、該表示情報記憶手段で記憶している表示情報の前記基準点にそれぞれ対応する参照基準点を設ける撮像対象物を撮像面上で撮像する撮像手段と、前記撮像面上の各参照基準点の撮像位置を測定する位置測定手段と、前記少なくとも４点の基準点および対応する少なくとも４点の参照基準点の位置情報から前記撮像対象物上の各参照基準点と前記撮像手段の撮像面との距離を演算する距離演算手段と、前記位置測定手段で測定した位置情報と前記距離演算手段で演算した各参照基準点の距離情報とに基づいて、前記表示情報の基準点の表示と前記撮像対象物の撮像上の参照基準点とが合致するような重畳表示用の描画情報を、前記表示情報から変換する倍率調整手段と、該倍率調整手段で変換した描画情報を格納する重畳表示用描画手段と、該重畳表示用描画手段に格納された描画情報を前記撮像対象物の撮像上に重畳表示する重畳表示手段とを備えていることを特徴とする撮像表示装置。
4. 前記参照基準点は、当該参照基準点が設定されるべき前記撮像対象物上での位置を指定する参照基準点指定手段によってそれぞれ動的に指定されることを特徴とする請求項１乃至３の何れか１つに記載の撮像表示装置。
5. 前記参照基準点は、当該参照基準点が設定されるべき前記撮像対象物上での位置を特徴的な形状から識別する参照基準点識別手段によってそれぞれ動的に指定されることを特徴とする請求項１乃至３の何れか１つに記載の撮像表示装置。
6. 前記倍率調整手段は、前記撮像対象物の撮像上での表示が所望の倍率となるような描画情報を前記表示情報から変換することを特徴とする請求項１乃至５の何れか１つに記載の撮像表示装置。
7. 前記所望の倍率は、前記撮像対象物の撮像上での表示が同寸表示となる倍率であることを特徴とする請求項６に記載の撮像表示装置。
8. 前記表示情報に設定する検証点と、前記撮像対象物である検証対象に前記検証点に対応して設ける参照検証点との相対関係を検出する相対関係検出手段を有することを特徴とする請求項７に記載の撮像表示装置。
9. 前記表示情報に対して特定の情報を付加する特定情報付加手段を有することを特徴とする請求項７に記載の撮像表示装置。
10. 前記特定情報付加手段は、前記特定の情報として、前記撮像対象物がもつ現在の情報を付加することを特徴とする請求項９に記載の撮像表示装置。

Images