JP2008141280A - 遠隔指示システム - Google Patents

Abstract

【課題】 遠隔地の被写体を拡大表示可能にしつつ、拡大表示された画像に対して書き込まれた描画内容を被写体に正確に投影可能にする。
【解決手段】 被写体１０を撮影する低解像度撮影手段２２及び高解像度撮影手段２３、被写体１０に画像を投影する投影手段２４の各光軸を一致させておく。制御装置４０は低解像度撮影手段２２で撮影された通常表示用画像を遠隔指示装置５０に配信して画面表示させ、遠隔指示装置５０で利用者から当該画像中の領域指定を受け付けると、制御装置４０は高解像度撮影手段２３で撮影された高解像度の部分表示用画像中の対応する領域を部分拡大画像として抽出して遠隔指示装置５０に配信して画面表示させる。そして、遠隔指示装置５０で利用者から当該画像に対する描画を受け付けると、制御装置４０は当該描画内容を示す画像を投影手段２４により被写体１０に投影する。
【選択図】 図１

Description

本発明は、遠隔指示システム、撮影側装置、指示側装置、及びこれらのプログラムに関する。

従来より、作業指示者が遠隔地の撮影映像を見ながら遠隔地にいる作業者に対して電話等の音声により指示を与える遠隔指示が行われている。
このような遠隔指示を支援する発明として、作業指示者が撮影映像に対して書き込んだ描画内容を実際の被写体にプロジェクタで投影する技術が開示されている（特許文献１、特許文献２参照。）。
また、広角画像に対して行った指定に基づいてカメラをコントロールする技術が開示されている（特許文献３参照。）。

米国特許公開第２００４／００７０６７４号明細書 特開２００３−２０９８３２号公報 特許第３２６５８９３号公報 特開２００１−９４８５７号公報 特開２００４−６４７８４号公報 特開２０００−９２３６１号公報 特許第０３０１３５２号公報 特開平０７−２２６９４０号公報

例えば被写体が精密部品等の場合には、作業指示者は被写体を拡大表示したいという要求がある。そこで、カメラとプロジェクタとを連動して動作させる構成で拡大表示を実現することが考えられるが、この構成の場合は撮影範囲の中心部のみしか拡大表示できない。また、撮影映像自体を高解像度化することで拡大表示を実現することが考えられるが、現状の通信性能や画像処理性能を鑑みると、高解像度化により撮影映像から動きの滑らかさが失われて好ましくない。

この対策として、指定された場所をＰＴＺ（Pan Tilt Zoom）カメラによって拡大して見る技術（特許文献４参照。）が開示されており、通常のカメラにより撮影した全体の撮影映像（広角映像）とＰＴＺカメラにより一部を拡大して撮影した撮影映像（ＰＴＺ映像）とを組み合わせて拡大表示を実現している。しかしながら、ＰＴＺ映像上での描画書き込みには対応していない。

そこで、撮影映像から領域を選択してＰＴＺカメラをコントロールする技術であるＦｌｙＳｐｅｃ（特許文献５参照。）と、撮影映像上に描画書き込みしてその描画画像を被写体に投影する技術であるｉＬｉｇｈｔとを組み合わせて、ＰＴＺ映像上での描画書き込みを実現することが考えられる。しかしながら、カメラ間に視差があることから広角映像とＰＴＺ映像とにずれが生じるため、ＰＴＺ映像に対する描画内容を立体物に対して正確に投影できない。また、装置構成上、精密な駆動が要求されるＰＴＺカメラを用意する必要があるため、装置が大型化・高コスト化してしまう。

本発明は、上記従来の事情に鑑みなされたものであり、遠隔地の被写体を拡大表示可能にしつつ、拡大表示された画像に対して書き込まれた描画内容を被写体に正確に投影可能にすることを目的としている。

請求項１に記載の本発明は、撮影側装置と、指示側装置とを具備し、前記撮影側装置は、前記指示側装置と通信する撮影側通信手段と、被写体を撮影して第１画像を生成する第１撮影手段と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段と、前記指示側装置から前記撮影側通信手段により受信した描画情報に基づく画像を前記被写体に投影する投影手段と、前記第１撮影手段の光軸と前記第２撮影手段の光軸と前記投影手段の光軸とを一致させる同光軸化手段と、前記指示側装置から前記撮影側通信手段により受信した領域情報に対応する前記第２画像中の領域の画像を抽出する抽出手段と、前記第１画像及び前記領域画像を前記指示側装置に前記撮影側通信手段により送信する画像送信制御手段と、を備え、前記指示側装置は、前記撮影側装置と通信する指示側通信手段と、前記撮影側装置から前記指示側通信手段により受信した前記第１画像を画面に表示する通常表示手段と、前記表示した第１画像中の領域の指定を利用者から受け付け、当該指定された領域を示す領域情報を前記撮影側装置に前記指示側通信手段により送信する拡大画像要求手段と、前記領域情報の送信に対応して前記撮影側装置から前記指示側通信手段により受信した前記領域画像を画面に表示する拡大表示手段と、前記表示した第１画像又は前記領域画像に対する描画を利用者から受け付け、当該描画内容を示す描画情報を前記撮影側装置に前記指示側通信手段により送信する投影指示手段と、を備えたことを特徴とする遠隔指示システムである。

請求項２に記載の本発明は、請求項１に記載の遠隔指示システムにおいて、前記同光軸化手段は、前記第１撮影手段の光軸と前記第２撮影手段の光軸とをプリズムにより一致させ、当該光軸と前記投影手段の光軸とをハーフミラーにより一致させることを特徴とする遠隔指示システムである。

請求項３に記載の本発明は、請求項１に記載の遠隔指示システムにおいて、前記同光軸化手段は、前記第１撮影手段の光軸と前記第２撮影手段の光軸とを第１のハーフミラーにより一致させ、当該光軸と前記投影手段の光軸とを第２のハーフミラーにより一致させることを特徴とする遠隔指示システムである。

請求項４に記載の本発明は、請求項１乃至請求項３のいずれか１項に記載の遠隔指示システムにおいて、前記第１撮影手段の画角と前記第２撮影手段の画角とが等しいことを特徴とする遠隔指示システムである。

請求項５に記載の本発明は、請求項４に記載の遠隔指示システムにおいて、前記各撮影手段の画角と前記投影手段の画角とが等しいことを特徴とする遠隔指示システムである。

請求項６に記載の本発明は、指示側装置と通信する撮影側通信手段と、被写体を撮影して第１画像を生成する第１撮影手段と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段と、前記第１画像中の領域の指定を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該指定された領域を示す領域情報に対応する前記第２画像中の領域の画像を抽出する抽出手段と、前記第１画像及び前記領域画像を前記指示側装置に前記撮影側通信手段により送信して前記指示側装置に表示させる画像送信制御手段と、前記第１画像又は前記領域画像に対する描画を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該描画内容を示す描画情報に基づく画像を前記被写体に投影する投影手段と、前記第１撮影手段の光軸と前記第２撮影手段の光軸と前記投影手段の光軸とを一致させる同光軸化手段と、を備えたことを特徴とする撮影側装置である。

請求項７に記載の本発明は、被写体を撮影して第１画像を生成する第１撮影手段の光軸と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段の光軸と、描画情報に基づく画像を前記被写体に投影する投影手段の光軸と、を一致させた撮影側装置と通信する指示側通信手段と、前記撮影側装置から前記指示側通信手段により受信した前記第１画像を画面に表示する通常表示手段と、前記表示した第１画像中の領域の指定を利用者から受け付け、当該指定された領域を示す領域情報を前記撮影側装置に前記指示側通信手段により送信する拡大画像要求手段と、前記領域情報の送信に対応して前記撮影側装置から前記指示側通信手段により受信した前記領域情報に対応する前記第２画像中の領域の画像を画面に表示する拡大表示手段と、前記表示した第１画像又は前記領域画像に対する描画を利用者から受け付け、当該描画内容を示す描画情報を前記撮影側装置に前記指示側通信手段により送信する投影指示手段と、を備えたことを特徴とする指示側装置である。

請求項８に記載の本発明は、被写体を撮影して第１画像を生成する第１撮影手段の光軸と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段の光軸と、描画情報に基づく画像を前記被写体に投影する投影手段の光軸と、を一致させた撮影側装置のコンピュータを、指示側装置と通信する撮影側通信手段、前記第１画像中の領域の指定を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該指定された領域を示す領域情報に対応する前記第２画像中の領域の画像を抽出する抽出手段、前記第１画像及び前記領域画像を前記指示側装置に前記撮影側通信手段により送信して前記指示側装置に表示させる画像送信制御手段、前記第１画像又は前記領域画像に対する描画を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該描画内容を示す描画情報に基づく画像を前記投影手段により前記被写体に投影させる投影制御手段、として機能させるためのプログラムである。

請求項９に記載の本発明は、コンピュータを、被写体を撮影して第１画像を生成する第１撮影手段の光軸と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段の光軸と、描画情報に基づく画像を前記被写体に投影する投影手段の光軸と、を一致させた撮影側装置と通信する指示側通信手段、前記撮影側装置から前記指示側通信手段により受信した前記第１画像を画面に表示する通常表示手段、前記表示した第１画像中の領域の指定を利用者から受け付け、当該指定された領域を示す領域情報を前記撮影側装置に前記指示側通信手段により送信する拡大画像要求手段、前記領域情報の送信に対応して前記撮影側装置から前記指示側通信手段により受信した前記領域情報に対応する前記第２画像中の領域の画像を画面に表示する拡大表示手段、前記表示した第１画像又は前記領域画像に対する描画を利用者から受け付け、当該描画内容を示す描画情報を前記撮影側装置に前記指示側通信手段により送信する投影指示手段、として機能させるためのプログラムである。

本発明によると、各撮影手段及び投影手段を同光軸に配置したことにより、撮影画像の拡大表示及び表示画像に対する描画内容の投影において視差を考慮する必要がないため、拡大表示された画像に対する描画内容も被写体に正確に投影できる。

また、各撮影手段の画角を一致させることにより、共通の座標系を用いて拡大表示処理を行うことができるため、処理を簡略化することができる。
また、投影手段の画角も一致させることにより、共通の座標系を用いて投影処理を行うことができるため、処理を簡略化することができる。

本発明を一実施例に基づいて具体的に説明する。
本実施例に係る遠隔指示システムは、図１に構成を示すように、被写体１０の撮影を行う撮影装置２０、被写体１０への画像の投影を行う投影装置３０、撮影装置２０及び投影装置３０の制御等を行う制御装置４０、制御装置４０とネットワークＮを介して接続された遠隔指示装置５０、を備えている。

撮影装置２０は、被写体１０からの光を分岐する分岐手段２１、分岐された一の光から画像（以下「全体表示用画像」と記す。）を生成する低解像度撮影手段２２、分岐された他の光から全体表示用画像より高解像度の画像（以下「拡大表示用画像」と記す。）を生成する高解像度撮影手段２３を備え、また、投影装置３０は、制御装置４０から供給された画像を被写体１０に投影する投影手段３１を備えている。

本例では、分岐手段２１としてプリズムを用いており、被写体１０からの光を分岐して各撮影手段２２、２３に入力することで、各撮影手段２２、２３の光軸を一致させている。また、一方の面からの光を透過し、他方の面からの光を反射するハーフミラー３５を用いて、各撮影手段２２、２３の光軸と投影手段３１の光軸とを一致させている。すなわち、本例ではプリズム２１とハーフミラー３５とにより本発明に係る同光軸化手段を構成している。なお、例えば、光の５０％を透過し、残りを反射するハーフミラーを分岐手段２１として用いる等、種々の態様により同光軸化手段を構成することができる。

制御装置４０は、ネットワークＮを介して遠隔指示装置５０との通信を行う通信手段４１、遠隔指示装置５０から受信した領域情報を保持する領域情報メモリ４２、撮影装置２０で生成された拡大表示用画像から前記領域情報に対応する領域の画像（以下「部分拡大画像」と記す。）を抽出する抽出手段４３、遠隔指示装置５０から受信した描画情報に基づく画像を投影装置３０に供給して被写体１０に投影させる投影制御手段４４、全体表示用画像及び部分拡大画像を遠隔指示装置５０に送信する画像送信制御手段４５、を備えている。

遠隔指示装置５０は、ネットワークＮを介して制御装置４０との通信を行う通信手段５１、液晶ディスプレイ等により構成された画面５２、キーボード・マウス等により構成された入力機器５３、遠隔指示装置５０から受信した全体表示用画像を画面５２に表示する通常表示手段５４、遠隔指示装置５０から受信した部分拡大画像を画面５２に表示する拡大表示手段５５、画面５２に表示された全体表示用画像中の領域の指定を利用者から受け付け、当該指定された領域を示す領域情報を撮影側装置４０に送信する拡大画像要求手段５６、画面５２に表示された全体表示用画像又は部分拡大画像に対する描画を利用者から受け付け、当該描画内容を示す描画情報を撮影側装置４０に送信する投影指示手段５７、を備えている。

ここで、本例の撮影装置２０は、図３（ａ）に示すように、被写体１０から撮像レンズ２５を介して入射する光を分岐するプリズム２１と、分岐した一方の光が結像されるように配置した低解像度用撮像素子２２ａと、他方の光が結像されるように配置した高解像度用撮像素子２３ａと、を有している。各撮像素子２２ａ、２３ａの配置位置は光学的に等価であり、また、感光面のサイズが同じＣＣＤ（Charge Coupled Device）を各撮像素子２２ａ、２３ａとして用いている。なお、ＣＣＤに代えて、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の他の撮像素子を用いてもよい。

低解像度撮影手段２２は、低解像度用撮像素子２２ａが光を受けることにより出力される出力信号ＬｏＣｈに基づいて全体表示用画像を生成する。高解像度撮影手段２３は、高解像度用撮像素子２３ａが光を受けることにより出力される出力信号ＨｉＣｈに基づいて拡大表示用画像を生成する。
本例の遠隔指示システムでは、ＮＴＳＣレベル（６４０×４８０画素：ＶＧＡ）の解像度で動画配信（又は静止画連続配信）を行うため、低解像度用撮像素子２２ａはＶＧＡの解像度を有している。また、高解像度用撮像素子２３ａは最大５倍の拡大表示を実現するために３２００×２４００画素の解像度を有している。

ここで、本例の遠隔指示システムによる拡大表示を図２を参照して説明する。
例えば、ＶＧＡサイズの全体表示用画像の一部を５倍に拡大した表示を行う場合には、同図（ａ）に示すように、３２００×２４００画素の拡大表示用画像を６４０×４８０画素で区切り、該当する一区画を部分拡大画像として抽出して拡大表示に用いる。
また、例えば、ＶＧＡサイズの全体表示用画像の一部を２．５倍に拡大する場合には、同図（ｂ）に示すように、３２００×２４００画素の拡大表示用画像を１２８０×９６０画素で区切り、該当する一区画を部分拡大画像として抽出して拡大表示に用いる。

本例の遠隔指示システムでは部分拡大画像の表示をＶＧＡサイズで行うことを想定しており、３２００×２４００画素の全域をＶＧＡに解像度変換して表示する場合は１倍ズーム（ズームなし）、１２８０×９６０画素の一部領域をＶＧＡに解像度変換して表示する場合は２．５倍ズームになる。なお、このような解像度変換によるデジタルズームの手法は例えば特許文献６に開示されている。

ここで、デジタルズームを使わずに画素レベルで考える場合、撮像素子の解像度が拡大倍率を決定する。すなわち、拡大倍率は解像度で決まるために画素高精細化技術が重要になる。例えば、ＶＧＡ出力に対して１０倍ズームが必要であれば６４００×４８００画素の撮像素子が必要となり、撮像素子の高精細化の技術によって拡大できる倍率が決定される。そこで、拡大倍率を更に向上させるために下記の画素ずらしという手法を用いてもよい。

例えば図３（ｂ）には、３ＣＣＤ方式の画素ずらしを適用する場合の構成例が示されている。同図によると、高解像度撮影手段２３側の光をＲ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分に分光するプリズム２１と、各色成分に対応して配置したＲ用撮像素子２３ｂ、Ｇ用撮像素子２３ｃ、Ｂ用撮像素子２３ｄとを有している。Ｇ用撮像素子２３ｃは、Ｒ用撮像素子２３ｂ及びＢ用撮像素子２３ｄに対して半画素ずらして配置してあり、各撮像素子２３ｂ、２３ｃ、２３ｄから出力される出力信号ＲＣｈ、ＧＣｈ、ＢＣｈを組み合わせて拡大表示用画像を生成している。この３ＣＣＤ方式の画素ずらしによると約４倍の解像度を実現している（特許文献７参照。）。

また、例えば図３（ｃ）には、４ＣＣＤ方式の画素ずらしを適用する場合の構成例が示されている。同図によると、高解像度撮影手段２３側の光をＲ成分、Ｇ１成分、Ｇ２成分、Ｂ成分に分光するプリズム２１と、各色成分に対応して配置したＲ用撮像素子２３ｂ、Ｇ１用撮像素子２３ｃ、Ｇ２用撮像素子２３ｅ、Ｂ用撮像素子２３ｄを有している。Ｇ１用撮像素子２３ｃ及びＧ２用撮像素子２３ｅは、Ｒ用撮像素子２３ｂ及びＢ用撮像素子２３ｄに対して半画素ずらして配置してあり、各撮像素子２３ｂ、２３ｃ、２３ｅ、２３ｄから出力される出力信号ＲＣｈ、Ｇ１Ｃｈ、Ｇ２Ｃｈ、ＢＣｈを組み合わせて拡大表示用画像を生成している。解像度を決定付ける輝度信号（Ｙ）＝０．７１５２Ｇ＋０．０７２２Ｂ＋０．２１２６Ｒであり、約７０％のＧ信号が含まれることからＧＣｈの性能向上が輝度信号の改善に大きく寄与するため、上記構成により解像度の向上が見込まれる（特許文献８参照。）。

なお、図３（ａ）において、例えば高解像度用撮像素子２３ａとして２／３型６００万画素のＣＣＤを用い、低解像度のＣＣＤをＶＧＡクラスとすることを考えると、２／３型ＶＧＡのＣＣＤが必要となるが、高密度化・高精細化・小型化というトレンドに対して、大判で低解像度の撮像素子の需要は少ないため、コストアップにつながる。そこで、高解像度の撮像素子を用いて生成した画像を縮小処理して全体表示用画像を取得するようにしてもよい。例えば、ＳＸＧＡ（１２８０×９６０画素）の撮像素子でＶＧＡ出力をする場合は、縦２画素×横２画素＝４画素を一つの画素単位としたり、２画素毎に１画素を間引いたりすることで、ＶＧＡの解像度の画像を取得することができる。

本例の遠隔指示システムによる処理の流れを図４を用いて説明する。
低解像度撮影手段２２により生成された全体表示用画像は、制御装置４０の画像送信制御手段４５により遠隔指示装置５０に動画配信されて遠隔指示装置５０の通常表示手段５４により画面５２に撮影映像として表示される。

遠隔指示装置５０は、撮影映像（全体表示用画像）に対して図形や文字等の描画が利用者により行われたかを監視しており（ステップＳ１１）、描画が行われた場合には、投影指示手段５７が当該描画された内容を示す描画情報を制御装置４０に送信し、制御装置４０が当該描画情報に基づく描画画像を投影装置３０に供給して被写体１０に投影させる（ステップＳ１２）。

また、遠隔指示装置５０は、撮影映像（全体表示用画像）における拡大表示対象のズーム指定領域の選択が利用者により行われたかを監視しており（ステップＳ１３）、ズーム指定領域が選択された場合には、拡大画像要求手段５６がズーム指定領域を示す座標値（領域情報）を制御装置４０に送信し、制御装置４０は当該座標値を領域情報メモリ４２に格納する。抽出手段４３は、領域情報メモリ４２に格納された座標値を高解像度映像（拡大表示用画像）における座標値に変換し、高解像度映像（拡大表示用画像）中の対応する領域をズーム撮影映像（部分拡大画像）として抽出し、当該ズーム撮影映像は画像送信制御手段４５により遠隔指示装置５０に動画配信されて拡大表示手段５５により画面５２に表示される（ステップＳ１４）。

また、遠隔指示装置５０は、ズーム撮影映像（部分拡大画像）に対して図形や文字等の描画が利用者により行われたかを監視しており（ステップＳ１５）、描画が行われた場合には、投影指示手段５７が当該描画された内容を示す描画情報を制御装置４０に送信し、制御装置４０が当該描画情報に基づく描画画像をズーム指定領域の座標値（領域情報）を参照して撮影映像（通常表示用画像）における描画画像に変換し（ステップＳ１６）、投影装置３０に供給して被写体１０に投影させる（ステップＳ１７）。

図５には、上記処理における画面表示例及び投影例が示されている。
図５（ａ）には、画面５２上に通常表示用画像を撮影映像として表示する通常表示窓６０が例示してある。同図によると、通常表示窓６０には、描画画像６１が投影された状態の被写体１０の全体表示用画像が表示されており、また、ズーム指定領域６５（破線部分）が利用者により指定されている。

このように、ズーム指定領域６５が指定されると、ズーム指定領域６５の左上の座標（ｘ０、ｙ０）及び右下の座標（ｘ１、ｙ１）を示す領域情報（ｘ０、ｙ０、ｘ１、ｙ１）が制御装置４０に送信され、制御装置４０の領域情報メモリ４２に格納される。これにより、当該領域情報に対応する拡大表示用画像中の領域が部分拡大画像として抽出されて動画配信される。この結果、図５（ｂ）に示すように、画面５２上に部分表示用画像をズーム撮影映像として表示する拡大表示窓７０に、図５（ａ）の破線部分（ズーム指定領域６５）が表示される。

そして、図５（ｃ）に示すように、拡大表示窓７０に表示された部分表示用画像に対して描画画像７１が利用者により書き込まれると、当該描画画像７１の描画情報が制御装置４０に送信される。制御装置４０では、全体表示用画像の座標系（ｘａ、ｘｂ）と部分表示用座画像の座標系（ｘｂ、ｙｂ）との関係式（ｘａ、ｘｂ）＝ｇ（ｘｂ、ｙｂ）を用いて、部分表示用画像から抽出した部分拡大画像に描画された描画画像７１を全体表示用画像の座標系に変換する。

ここで、図６に示すように、部分拡大画像が画像サイズ（ｗ、ｈ）であるとすると、関数ｇは、ズーム指定領域６５の左上の座標（ｘ０、ｙ０）及び右下の座標（ｘ１、ｙ１）と部分拡大画像の画像サイズ（ｗ、ｈ）とにより、以下の数式（アフィン変換）で求められる。

この結果、部分拡大画像になされた描画画像７１が全体表示用画像の座標系に変換される。これにより、図５（ｄ）及び（ｅ）に示すように、全体表示用画像に対する描画画像６１と部分拡大画像に対する描画画像７１を全体表示用画像の座標系に変換した描画画像６２とが、投影画像６１ａと投影画像７１ａとして被写体１０に投影される。

以上のように、本発明によると、低解像度撮影手段２２、高解像度撮影手段２３、投影手段３１を光学的に等価に設けたため、部分拡大画像に対する描画も被写体に正確に投影でき、また、従来に比べて画像処理を簡略化できる。また、ＰＴＺカメラを必要としない構成であるため、メカレスに構成できると共に装置の小型化・低コスト化が可能である。

本例では、上記アフィン変換処理を制御装置４０で行っているが、遠隔指示装置５０で変換処理を行い、当該変換後の情報を制御装置４０に送信するようにしてもよい。
また、本例では、低解像度撮影手段２２及び高解像度撮影手段２３の各画角（撮影範囲）を一致させ、また、投影手段３１の画角（投影範囲）も一致させているが、これらは異なっていてもよく、その場合には、例えば最も狭い範囲を基準に座標系を設定し、制御装置４０又は遠隔指示装置５０で座標調整するようにすればよい。

また、ズーム指定領域６５の指定方式としては、例えば、マウスのドラッグ操作により選択された範囲をズーム指定領域６５として受け付けたり、全体表示用画像中の一点が指定された場合に当該点を基準とした所定範囲をズーム指定領域６５として受け付けたり、予め全体表示用画像を複数に区切った中から選択された区画をズーム指定領域６５として受け付けたり、キーボードによる座標入力によりズーム指定領域６５を受け付ける等、種々の方式により領域指定を行うことができる。

なお、本例の制御装置４０は、外部の記憶媒体に対するデータアクセスを行う媒体アクセス部、ＨＤＤ（Hard Disk Drive）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等のハードウェア資源を有するコンピュータが、本発明に係るプログラムを記憶保持した外部記憶媒体やＨＤＤから当該プログラムを読み出し、ＲＡＭ上に展開してＣＰＵで演算処理することにより、通信手段４１、抽出手段４３、投影制御手段４４、画像送信制御手段４５を構成しているが、これらを専用ハードウェアにより構成するようにしてもよい。

また、本例の遠隔指示装置５０は、外部の記憶媒体に対するデータアクセスを行う媒体アクセス部、ＨＤＤ、ＲＡＭ、ＣＰＵ等のハードウェア資源を有するコンピュータが、本発明に係るプログラムを記憶保持した外部記憶媒体やＨＤＤから当該プログラムを読み出し、ＲＡＭ上に展開してＣＰＵで演算処理することにより、通信手段５１、通常表示手段５４、拡大表示手段５５、拡大画像要求手段５６、投影指示手段５７を構成しているが、これらを専用ハードウェアにより構成するようにしてもよい。

本発明の一実施例に係る遠隔指示システムの構成を示す図である。 本発明の一実施例に係る拡大表示を説明する図である。 本発明の一実施例に係るプリズム構成を示す図である。 本発明の一実施例に係る処理の流れを説明する図である。 本発明の一実施例に係る画面表示例及び投影例を示す図である。 本発明の一実施例に係る投影処理を説明する図である。

符号の説明

２１：分岐手段、
２２：低解像度撮影手段、
２２ａ：低解像度用撮像素子、
２３：高解像度撮影手段、
２３ｂ、２３ｃ、２３ｄ、２３ｅ：高解像度用撮像素子、
２５：撮像レンズ、
３１：投影手段、
３５：ハーフミラー、
４２：領域情報メモリ、
４３：抽出手段、
４４：投影制御手段、
４５：画像送信制御手段、
５４：通常表示手段、
５５：拡大表示手段、
５６：拡大表示要求手段、
５７：投影手段

Claims (9)

1. 撮影側装置と、指示側装置とを具備し、
   前記撮影側装置は、
   前記指示側装置と通信する撮影側通信手段と、
   被写体を撮影して第１画像を生成する第１撮影手段と、
   前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段と、
   前記指示側装置から前記撮影側通信手段により受信した描画情報に基づく画像を前記被写体に投影する投影手段と、
   前記第１撮影手段の光軸と前記第２撮影手段の光軸と前記投影手段の光軸とを一致させる同光軸化手段と、
   前記指示側装置から前記撮影側通信手段により受信した領域情報に対応する前記第２画像中の領域の画像を抽出する抽出手段と、
   前記第１画像及び前記領域画像を前記指示側装置に前記撮影側通信手段により送信する画像送信制御手段と、を備え、
   前記指示側装置は、
   前記撮影側装置と通信する指示側通信手段と、
   前記撮影側装置から前記指示側通信手段により受信した前記第１画像を画面に表示する通常表示手段と、
   前記表示した第１画像中の領域の指定を利用者から受け付け、当該指定された領域を示す領域情報を前記撮影側装置に前記指示側通信手段により送信する拡大画像要求手段と、
   前記領域情報の送信に対応して前記撮影側装置から前記指示側通信手段により受信した前記領域画像を画面に表示する拡大表示手段と、
   前記表示した第１画像又は前記領域画像に対する描画を利用者から受け付け、当該描画内容を示す描画情報を前記撮影側装置に前記指示側通信手段により送信する投影指示手段と、を備えたことを特徴とする遠隔指示システム。
2. 前記同光軸化手段は、前記第１撮影手段の光軸と前記第２撮影手段の光軸とをプリズムにより一致させ、当該光軸と前記投影手段の光軸とをハーフミラーにより一致させることを特徴とする請求項１に記載の遠隔指示システム。
3. 前記同光軸化手段は、前記第１撮影手段の光軸と前記第２撮影手段の光軸とを第１のハーフミラーにより一致させ、当該光軸と前記投影手段の光軸とを第２のハーフミラーにより一致させることを特徴とする請求項１に記載の遠隔指示システム。
4. 前記第１撮影手段の画角と前記第２撮影手段の画角とが等しいことを特徴とする請求項１乃至請求項３のいずれか１項に記載の遠隔指示システム。
5. 前記各撮影手段の画角と前記投影手段の画角とが等しいことを特徴とする請求項４に記載の遠隔指示システム。
6. 指示側装置と通信する撮影側通信手段と、
   被写体を撮影して第１画像を生成する第１撮影手段と、
   前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段と、
   前記第１画像中の領域の指定を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該指定された領域を示す領域情報に対応する前記第２画像中の領域の画像を抽出する抽出手段と、
   前記第１画像及び前記領域画像を前記指示側装置に前記撮影側通信手段により送信して前記指示側装置に表示させる画像送信制御手段と、
   前記第１画像又は前記領域画像に対する描画を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該描画内容を示す描画情報に基づく画像を前記被写体に投影する投影手段と、
   前記第１撮影手段の光軸と前記第２撮影手段の光軸と前記投影手段の光軸とを一致させる同光軸化手段と、
   を備えたことを特徴とする撮影側装置。
7. 被写体を撮影して第１画像を生成する第１撮影手段の光軸と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段の光軸と、描画情報に基づく画像を前記被写体に投影する投影手段の光軸と、を一致させた撮影側装置と通信する指示側通信手段と、
   前記撮影側装置から前記指示側通信手段により受信した前記第１画像を画面に表示する通常表示手段と、
   前記表示した第１画像中の領域の指定を利用者から受け付け、当該指定された領域を示す領域情報を前記撮影側装置に前記指示側通信手段により送信する拡大画像要求手段と、
   前記領域情報の送信に対応して前記撮影側装置から前記指示側通信手段により受信した前記領域情報に対応する前記第２画像中の領域の画像を画面に表示する拡大表示手段と、
   前記表示した第１画像又は前記領域画像に対する描画を利用者から受け付け、当該描画内容を示す描画情報を前記撮影側装置に前記指示側通信手段により送信する投影指示手段と、
   を備えたことを特徴とする指示側装置。
8. 被写体を撮影して第１画像を生成する第１撮影手段の光軸と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段の光軸と、描画情報に基づく画像を前記被写体に投影する投影手段の光軸と、を一致させた撮影側装置のコンピュータを、
   指示側装置と通信する撮影側通信手段、
   前記第１画像中の領域の指定を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該指定された領域を示す領域情報に対応する前記第２画像中の領域の画像を抽出する抽出手段、
   前記第１画像及び前記領域画像を前記指示側装置に前記撮影側通信手段により送信して前記指示側装置に表示させる画像送信制御手段、
   前記第１画像又は前記領域画像に対する描画を利用者から受け付けた前記指示側装置から前記撮影側通信手段により受信した当該描画内容を示す描画情報に基づく画像を前記投影手段により前記被写体に投影させる投影制御手段、
   として機能させるためのプログラム。
9. コンピュータを、
   被写体を撮影して第１画像を生成する第１撮影手段の光軸と、前記被写体を撮影して前記第１画像より高解像度の第２画像を生成する第２撮影手段の光軸と、描画情報に基づく画像を前記被写体に投影する投影手段の光軸と、を一致させた撮影側装置と通信する指示側通信手段、
   前記撮影側装置から前記指示側通信手段により受信した前記第１画像を画面に表示する通常表示手段、
   前記表示した第１画像中の領域の指定を利用者から受け付け、当該指定された領域を示す領域情報を前記撮影側装置に前記指示側通信手段により送信する拡大画像要求手段、
   前記領域情報の送信に対応して前記撮影側装置から前記指示側通信手段により受信した前記領域情報に対応する前記第２画像中の領域の画像を画面に表示する拡大表示手段、
   前記表示した第１画像又は前記領域画像に対する描画を利用者から受け付け、当該描画内容を示す描画情報を前記撮影側装置に前記指示側通信手段により送信する投影指示手段、
   として機能させるためのプログラム。

Images