JP2022129747A - 電子装置およびその制御方法 - Google Patents

Abstract

【課題】注目被写体の状態に応じて適切な検出情報を提示することが可能な電子装置を提供する。【解決手段】電子装置（１００）は、ユーザ（１００１）が注目している注目被写体（１００３）を判定する判定手段（４３）と、注目被写体に関する複数の検出情報を検出する検出手段（３７、３８、３９）と、注目被写体に関連付けられた基準情報（１０３０）を参照する通信手段（５４）と、複数の検出情報のうち少なくとも一つの情報（１０２１、１０２２、１０２３、１０２４、１０２５、１０２６）を提示する提示手段（２９）と、基準情報と複数の検出情報とに基づいて、複数の検出情報のうち提示手段により提示される少なくとも一つの情報を決定する制御手段（５０）とを有する。【選択図】図１

Description

本発明は、電子装置およびその制御方法に関する。

ヘッドマウントディスプレイ（ＨＭＤ）等のウェアラブル端末を使用した作業支援システムでは、作業対象に関する情報を表示画面に提示することで、ユーザは作業対象から手を離さずに必要な情報を取得することができる。例えば特許文献１には、ウェアラブル端末を用いて、建設現場の３次元図面データを、ウェアラブル端末に搭載されたシースルー型の表示画面に重畳して表示する図面投影システムおよび方法が開示されている。例えば検査工程において、図面データと実物を照らし合わせながら作業を行うことで、作業対象の不良等に早期に気づくことができる。点検作業の精度向上および効率化につながるという利点がある。

また、作業支援システムの応用として、例えばウェアラブル端末に、カメラのみならず、位置検出デバイス、可視光外波長検出デバイスなどの異なる複数のセンシング手段を搭載することで、センシング結果に基づく様々な作業支援情報を提示することができる。目視では気づくことができない、作業対象に関する有益なセンシング情報を表示画面に提示することで、更なる作業効率の向上が見込める。

しかしながら、作業対象に関連する様々な情報を、表示画面に常時表示するのは煩わしい。そこで、例えば特許文献２には、撮影画像から被写体を認識し、認識された被写体に対応する情報を提示する方法が開示されている。

特開２０１８－７４２００号公報 特開２０１５－２０７１６８号公報

特許文献２に開示された方法では、認識対象（注目被写体）毎に表示する情報（検出情報）が固定されている。ユーザが必要とする情報は、作業対象（注目被写体）の状態に応じて異なる。例えば、作業対象の寸法に特徴がある場合には寸法情報、作業対象の温度に特徴がある場合には温度情報をそれぞれ表示することが望まれる。しかし、特許文献２には、複数の検出情報から必要な情報を選択して表示する方法について開示されていない。

そこで本発明は、注目被写体の状態に応じて適切な検出情報を提示することが可能な電子装置、電子装置の制御方法、およびプログラムを提供することを目的とする。

本発明の一側面としての電子装置は、ユーザが注目している注目被写体を判定する判定手段と、前記注目被写体に関する複数の検出情報を検出する検出手段と、前記注目被写体に関連付けられた基準情報を参照する通信手段と、前記複数の検出情報のうち少なくとも一つの情報を提示する提示手段と、前記基準情報と前記複数の検出情報とに基づいて、前記複数の検出情報のうち前記提示手段により提示される少なくとも一つの前記情報を決定する制御手段とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、注目被写体の状態に応じて適切な検出情報を提示することが可能な電子装置、電子装置の制御方法、およびプログラムを提供することができる。

各実施例におけるウェアラブル端末の外観図である。 各実施例におけるウェアラブル端末のブロック図である。 各実施例における音声信号処理部のブロック図である。 各実施例における撮像素子の構成図である。 各実施例における測距方法の説明図である。 実施例１におけるウェアラブル端末によるセンシング情報を提供するシステムの説明図である。 実施例１におけるウェアラブル端末によるセンシング情報を提供する方法のフローチャートである。 実施例１におけるウェアラブル端末によるセンシング情報を記憶するテーブルである。 実施例２における２台のウェアラブル端末によりユーザの死角を補助するシステムの説明図である。 実施例２における２台のウェアラブル端末によりユーザの死角を補助する方法のフローチャートである。 実施例２における２台のウェアラブル端末間で共有する位置関係情報の表示例である。 実施例３におけるウェアラブル端末により寸法測定を行う方法のフローチャートである。 実施例３におけるウェアラブル端末に搭載した２つの測距手段の測距信頼度の説明図である。 実施例４におけるウェアラブル端末の撮影画角と表示画角との関係の説明図である。 実施例４におけるウェアラブル端末の撮影画角と表示画角との関係の俯瞰図である。 実施例４におけるウェアラブル端末の並進移動に対する表示画角制御の説明図である。 実施例４におけるウェアラブル端末の光軸回転に対する表示画角制御の説明図である。 実施例４におけるウェアラブル端末による表示画角制御のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、各実施例におけるウェアラブル端末（電子装置）１００について説明する。図１は、ウェアラブル端末１００の外観図である。図１において、右眼用撮像ユニット１５０Ｒおよび左眼用撮像ユニット１５０Ｌはそれぞれ、後述のレンズ（レンズユニット）１０３および撮像部（撮像手段）２２を含む撮像ユニット部である。右眼用および左眼用の撮影画像を、後述の右眼用表示ユニット１６０Ｒおよび左眼用表示ユニット１６０Ｌにそれぞれ表示することができる。撮像ユニット１５０Ｒおよび撮像ユニット１５０Ｌはそれぞれズーム機構を搭載しており、後述の音声ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等の操作手段を使用して、ズーム倍率を変更することができる。ズーム操作は、レンズズーム機構による光学ズームと、撮影画像の切り出しによる電子ズームとを、組み合わせることができる。

赤外ＬＥＤ照明部８１およびＴＯＦ検出部８３（これらをまとめて第２の測距手段という）は、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式（ＴＯＦ方式）を利用した測距システムの、それぞれ発光照明部および検出部である。ただし、本実施例における方式は、これに限定されるものではなく、三角測量方式などの他の方式を用いてもよい。赤外ＬＥＤ照明部８１は、ＴＯＦ検出部８３の周囲にリング状に配置されており、ＴＯＦ検出部８３の画角より十分に広い領域を照射することができる。なお、ＴＯＦ方式の測距原理については後述する。

右眼用表示ユニット１６０Ｒおよび左眼用表示ユニット１６０Ｌはそれぞれ、後述の接眼部１６、表示部（提示手段）２９、および視線検知部４１を含む表示ユニット部である。接眼部１６は、接眼ファインダ（覗き込み型のファインダ）の接眼部であり、ユーザは、接眼部１６を介して内部の表示部２９に表示された映像（画像）を視認することができる。

次に、図２を参照して、ウェアラブル端末１００の内部構成について説明する。図２は、ウェアラブル端末１００のブロック図である。なお、レンズ１０３は複数枚のレンズから構成されるが、図２では簡略して一枚のレンズのみで示している。システム制御部（制御手段）５０は、レンズシステム制御回路４と通信し、絞り駆動回路２を介して絞り１を制御することで、絞り制御を実現する。また、ＡＦ駆動回路３を介して、レンズ１０３内のフォーカスレンズを変位させることで対象に合焦させる。

ダイクロイックミラー２１は、波長分離のために配置されており、可視光を透過する一方、赤外光を反射する構造を有する。ダイクロイックミラー２１を透過した可視光成分は、ダイクロイックミラー２１の後段に配置された可視光用の撮像部２２により光電変換され、可視光画像信号が生成される。一方、ダイクロイックミラー２１で反射された赤外光成分は、赤外光撮像部２５により光電変換され、赤外光画像信号が生成される。

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮像部２２は、例えば、一般的な原色カラーフィルタを備える可視光撮影用の単板カラー撮像素子である。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する画像を撮影する。撮像部２２はＡ／Ｄ変換器を内蔵しており、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。撮像部２２は、後述する撮像面位相差測距方式（撮像面位相差検出方式）による測距（焦点検出）が可能な画素構成を有する。

赤外光撮像部２５は、撮像部２２と同様に、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子であり、波長帯域に応じて、Ｓｉ、ＩｎＧａＡｓ、ＩｎＡｓＳｂなどの材料を用いた撮像素子を採用してもよい。これにより、近赤外線（７８０～２５００ｎｍ）、中赤外線（２５００～２５０００ｎｍ）、或いは遠赤外線（４μｍ～１０００μｍ）を検出する。近赤外線は、波長が物体に吸収されにくく、透過性が高いという特徴がある。この特徴を生かし、近赤外光での撮影画像は、対象の傷や異物（汚れ）の判定に適している。中赤外線或いは遠赤外線は、物体の温度を測定するサーモグラフィとして使用することが可能である。

画像処理部２４は、撮像部２２もしくは赤外光撮像部２５からのデータ、または、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４により得られた演算結果に基づいて、露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。また画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、撮像部２２、画像処理部２４、およびメモリ３２の間のデータ送受を制御する。撮像部２２からの出力データは、画像処理部２４およびメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られた画像データや、表示部２９に表示するための画像データを格納する。またメモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２９により表示される。表示部２９は、ＬＣＤや有機ＥＬ等の表示器上に、メモリ制御部１５からの信号に応じた表示を行う。メモリ３２に蓄積された画像データを、表示部２９に逐次転送して表示することで、撮影画像のスルー表示を行うことができる。

視線検知部４１は、不図示の赤外発光ダイオードを使用して、ファインダー画面内におけるユーザの視線位置を検出する。照射した赤外光はユーザの眼球（目）１６１Ｒ、１６１Ｌでそれぞれ反射し、その赤外反射光はダイクロイックミラー４２に到達する。ダイクロイックミラー４２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、不図示の結像レンズを介して視線検知部４１の撮像面に結像する。視線検知部４１は、例えばＣＣＤ型イメージセンサ等の撮像デバイスから成る。

注視判定部（判定手段）４３は、ユーザが特定の撮影対象（被写体）を注視（注目）しているか否かを判定する。視線検知部４１から検出結果を受信し、ユーザの視線が任意の被写体上の点に固定されている時間が所定の閾値を越えた場合に、その点を注視していると判定する。注視判定部４３により注視していると判定された点に対応する被写体を注視被写体（注目被写体）という。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、各実施例にて後述する各種フローチャートを実行するためのプログラムである。

システム制御部５０は、少なくとも１つのプロセッサまたは回路からなる制御部であり、ウェアラブル端末１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する各実施例の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、および表示部２９等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時手段である。

操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、例えば音声ＵＩ操作部やタッチパッドが含まれる。図３は、音声ＵＩ操作部（音声信号処理部２０４）のブロック図である。音声入力部１０４はマイクであり、ウェアラブル端末１００を装着したユーザの発声を音波として受信し、音声信号に変換する。音声信号処理部２０４は、音圧レベル検出部２４１、音声用メモリ２４２、および音声認識部２４３で構成される。音圧レベル検出部２４１は、音声入力部１０４の出力レベルがある閾値以上であることを検出する。音声用メモリ２４２は、予めコマンド用の音声データを格納している。また音声用メモリ２４２は、音圧レベル検出部２４１をトリガに、音声入力部１０４の出力データを逐次的に格納することにも使用される。音声認識部２４３は、音声用メモリ２４２に格納された特定の音声コマンドと、逐次的に格納されている音声データを比較し、音声コマンドと音声データとが一致しているか否かを判定する。例えば、音声コマンドを使用して、撮像ユニット１５０Ｒ、１５０Ｌのズーム倍率を変更することができる。

タッチパッドは、ウェアラブル端末１００の側面（不図示）に搭載される。システム制御部５０は、タッチパッドへの操作、または状態を検出できる。タッチパッド上に指がタッチしている位置座標は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいてタッチパッド上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチパッドは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

電源スイッチ７１は、ウェアラブル端末１００の電源のＯＮ／ＯＦＦを切り替える操作部材である。電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１８０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体１８０とのインターフェースである。記録媒体１８０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部（通信手段）５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。また、外部のデータベースサーバとのデータ送受信を行うことができる。例えば、データベースサーバには、作業対象の３次元ＣＡＤデータを格納していてもよい。作業対象に関する３次元図面データを、表示部２９に実画像と重畳して表示する図面投影システムを構築することが可能である。通信部５４は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。

姿勢検知部５５は、重力方向に対するウェアラブル端末１００の姿勢を検知する。姿勢検知部５５としては、加速度センサやジャイロセンサなどを用いることができる。姿勢検知部５５により、ウェアラブル端末１００の動き（パン、チルト、ロール、静止しているか否か等）を検知することが可能である。

装着検知部５７は、ウェアラブル端末１００をユーザが装着したか否かを検知する装着検知センサである。システム制御部５０は、装着検知部５７で検知された状態に応じて、ウェアラブル端末１００の起動（パワーオン）／停止（パワーオフ）を切り替えることができる。装着検知部５７は、例えば赤外線近接センサを用いることができ、接眼部１６への何らかの物体の接近を検知する構成としてもよい。物体が接近した場合は、装着検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているかも判定することができる。なお、赤外線近接センサは一例であって、静電容量方式等の他のセンサを採用してもよい。

赤外ＬＥＤ照明部８１は、ＴＯＦシステム用の照射手段であり、ＬＥＤ駆動部８２によりある一定の周波数に変調され照射される。赤外ＬＥＤ照明部８１による照射光は、測定対象を照射する。測定対象からの反射光は、不図示の結像レンズで結像され、測定対象距離に応じた遅れ時間ｔをもって、ＴＯＦ検出部８３に到達する。例えば、遅れ時間ｔが１０ナノ秒である場合、光の速度ｃは３０万ｋｍ／秒のため、被写体距離は３ｍ（＝１０ナノ（０．０００００００１）秒×３０万ｋｍ）と算出できる。ＴＯＦ検出方式での測距分解能ｄは、以下の式（１）のように表される。

ここで、ｆ_ｍｉｎは変調周波数、Ｎはノイズを除去した後に使用可能な有効信号電子数である。つまり、信号対ノイズ比を表すＳＮＲに距離分解能は依存する。反射率が同一の測定対象であれば、測定対象が遠いほどＳＮＲが小さくなる。結果として、ＴＯＦ検出部８３の測距可能範囲内においては、測距対象が遠いほど距離分解能が下がる。測距可能範囲内は赤外ＬＥＤ照明部８１の出力に依存し、高出力を得るには大型なＬＥＤ及び高消費電力が必要となる。各実施例では、ウェアラブル端末に好適な構成を想定し、数メートル先の対象まで測距可能な仕様とする。

特徴点抽出部３３は、画像処理部２４で演算された画像データから、所定数の特徴点を抽出する。特徴点抽出部３３により撮影フレームごとに抽出された特徴点は、メモリ３２に情報保持される。特徴点抽出方法としては、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｒｏｍ ａｃｃｅｌｅｒａｔｅｄ ｓｅｇｍｅｎｔ ｔｅｓｔ）等の種々の方法がある。または、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）を用いてもよい。検出された特徴点は、例えば、ＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）等の省メモリかつ高速なマッチングが可能な二値ベクトルを計算する特徴量記述子として記憶される。

特徴点追跡部３４は、メモリ３２に情報保持された特徴点情報を読み出し、新規撮影フレームの画像データ内で抽出した特徴点と比較する。これにより、複数の画像間で特徴点をマッチングする。マッチングの方法には、例えば、全探索法（Ｂｒｕｔｅ－Ｆｏｒｃｅ ｍａｔｃｈｅｒ）、近似最近傍探索法（ＦＬＡＮＮ ｂａｓｅｄ ｍａｔｃｈｅｒ）、Ｍｅａｎ－Ｓｈｉｆｔ探索法が用いられる。

３次元形状復元部３５は、取得した複数の撮影画像データから、撮影シーンの３次元形状を復元する。３次元形状復元手段としては、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）や ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）といった手法を用いる。いずれの手法においても、３次元形状復元部３５は、姿勢及び位置の異なる複数の撮影画像に対して、特徴点追跡部３４による抽出特徴点のマッチングを行い、画像間の対応点を見つける。そして、例えば、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ等による最適化手法を用いることで、マッチングした特徴点の３次元位置（３次元点群データ）、カメラ位置、およびカメラ姿勢を推定する。また３次元形状復元部３５は、姿勢検知部５５の出力を前述の最適化条件に加えるＶｉｓｕａｌ Ｉｎｅｒｔｉａｌ ＳＬＡＭといった手法を用いて、３次元点群データとカメラ位置姿勢の推定精度を向上させてもよい。またシステム制御部５０は、ＴＯＦ検出部８３による測距結果を更に加え、ＳＬＡＭによる推定精度を向上させてもよい。

３次元形状照合部（算出手段）３６は、３次元形状復元部３５が生成した３次元点群データの形状と、外部データベース等に格納された３次元ＣＡＤデータ上の対象オブジェクトの形状とをアライメントし、配置を照合する。アライメントには、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｔ Ｐｏｉｎｔ）アルゴリズム等の手法を用いても良い。外部データベースとは、通信部５４を介してデータの送受信を行う。これにより、特徴点抽出部３３が抽出した各特徴点が、対象オブジェクト座標系において、どの座標位置に相当するか照合することができる。また、その配置関係から、各画像データ撮影時におけるウェアラブル端末１００の位置及び姿勢を推定することができる。

傷汚れ検出部３７は、赤外光撮像部２５で取得した赤外線画像データから、測定対象上の傷或いは異物付着による汚れによる欠陥の有無を検出する。傷検出方法としては、例えば欠陥部と欠陥部以外の部材表面の赤外線放射率の差を利用する。この放射率の差は赤外線画像データ上の濃淡の差として現れる。赤外線画像データにエッジ処理や背景ノイズカットなどの画像処理を施し、検出された欠陥の長さ及び面積が基準判定閾値以上であれば、欠陥として判定する。例えば、撮像部２２で取得した画像データから傷や異物を検出する方式としても構わない。

温度計測部（温度検出手段）３８は、赤外光撮像部２５で取得した赤外線画像データから、測定対象の２次元温度分布を測定する。理想的な赤外線放射体であれば、放射量と温度の関係はステファン・ボルツマンの法則に従う。測定対象から発せられる赤外線放射輝度を、理想的な赤外線放射体である黒体放射輝度と比較することで、温度に換算することができる。

寸法測定部（寸法検出手段）３９は、例えばＴＯＦ検出部８３によって取得された測距情報に基づき、測定対象の寸法を測定する。３次元の座標点を撮影画像空間へ透視投影変換するための既知の幾何学関係を表すカメラパラメータを使用し、撮影画像上の物体の写像を、実スケールの３次元形状に復元することができる。これにより、物体の指定箇所の寸法を測定することが可能となる。なお、寸法の測定は、３次元形状復元部３５を用いて復元する方式としても勿論構わない。測距手段は、撮像部２２の撮像面位相差測距方式を用いても勿論構わない。

次に、図４を参照して、撮像部２２における撮像素子の構成について説明する。図４は、撮像素子の構成図である。図４（ａ）に示されるように、撮像素子は、複数の画素２００が２次元に規則的に配列されている。具体的には、複数の画素２００は、例えば二次元格子状に配列されている。なお、画素２００の配列構成は、格子状の配列構成に限定されるものではなく、他の配列構成が採用されるものであってもよい。

撮像面位相差測距方式の測距機能（焦点検出機能）を実現するため、各画素２００は、図４（ｂ）に示されるマイクロレンズ２０１と、一対の光電変換部である瞳分割画素２０２ａ及びｂを有する。瞳分割画素２０２ａ、２０２ｂは、撮像面がｙ軸方向を長手方向とする長方形状を有する、同形同大に構成された光電変換部である。各画素２００において、瞳分割画素２０２ａ、２０２ｂは、マイクロレンズ２０１のｙ軸方向に沿った垂直二等分線を対称軸として、線対称に配置されている。なお、瞳分割画素２０２ａ、２０２ｂの撮像面形状は、これに限定されるものではなく、他の形状であってもよい。また、瞳分割画素２０２ａ、２０２ｂの配置態様も、ｘ方向に並列に配置されるものに限られるものではなく、他の配置態様が採用されるものであってよい。

このような構成により、各実施例の撮像部２２は、撮像素子の全ての画素が有する瞳分割画素２０２ａから出力された画像信号に係るＡ像と、同様に瞳分割画素２０２ｂから出力された画像信号に係るＢ像とを出力する。Ａ像とＢ像とは、合焦している位置との距離に応じた視差を有する関係にある。

システム制御部５０は、撮像範囲の奥行き方向における被写体の距離分布を示す情報として、撮像画像に含まれる各被写体の像のデフォーカス量を算出する。デフォーカス量は、各実施例のように取得した視差を有する画像群（Ａ像及びＢ像）に基づいて導出する場合、例えば以下に説明するように行う。デフォーカス量の導出は、例えば画像（Ａ像とＢ像）を小ブロックに分割する処理を含む。小ブロックは、例えば対象であるＡ像の各画素を着目画素とした場合に、該画素を中心とする予め定められたサイズの領域に対して設定されるものであってよい。なお、以下の説明では小ブロックは、ｍ×ｍ画素の正方領域として設定されるものとして説明するが、小ブロックの形状やサイズはこれに限定されない。

例えば、Ａ像及びＢ像の各画素について小ブロックが設定されると、両画像間で画素（着目画素）ごとに相関演算処理を行い、該画素に対応する小ブロックに含まれる像のずれ量（像ずれ量）を導出する。Ａ像及びＢ像とで同一位置の着目画素について定められた（一対の）小ブロックのデータ数（画素数）がｍである場合、該一対の小ブロックの画素データをそれぞれＥ（１）～Ｅ（ｍ）、Ｆ（１）～Ｆ（ｍ）として表現する。この場合、（データの）ずらし量をｋ（整数）［ｐｉｘｅｌ］とすると、相関演算処理において、相関量Ｃ（ｋ）は以下の式（２）により求められる。

Ｃ（ｋ）＝Σ｜Ｅ（ｎ）－Ｆ（ｎ＋ｋ）｜ … （２）
ここで、Σ演算はｎについて行われ、ｎ及びｎ＋ｋは１～ｍの範囲に限定されるものとする。また、ずらし量ｋは、一対の画像データの検出ピッチを単位とした相対的シフト量である。このように、１つの着目画素に係る一対の瞳分割画像（一対の小ブロック）について相関量を導出すると、ずらし量ｋと相関量Ｃ（ｋ）は、例えば図５（ａ）のグラフに示されるような関係となる。このとき、相関が最も高い像ずれ量において相関量Ｃ（ｋ）が最小になる。これより、下記の３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与えるずらし量ｘを以下の式（３）より導出することができる。

ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ
Ｃ（ｘ）＝Ｃ（ｋｊ）－｜Ｄ｜
Ｄ＝｛Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）｝／２
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）｝ … （３）
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるずらし量ｋである。このようにして求めたずらし量ｘが、１つの着目画素における像ずれ量として求まる。従って、各着目画素におけるデフォーカス量ＤＥＦは、像ずれ量ｘを用いて、以下の式（４）より算出することができる。

ＤＥＦ＝ＫＸ・ＰＹ・ｘ … （４）
ここで、ＰＹは、撮像素子の画素ピッチ（撮像素子を構成する画素間距離。単位［ｍｍ／ｐｉｘｅｌ］）であり、ＫＸは、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズ１０３のＦ値（Ｆｎｏ）に応じて変化するため、撮像時の設定の情報に応じて決定されるものとする。ここで、Ｆ値はレンズの焦点距離ｆを絞りの有効口径Ａで割った値（Ｆｎｏ＝ｆ／Ａ）である。このように、着目画素位置を１画素ずつずらしながら繰り返し計算することで、撮像画像の各画素における被写体のデフォーカス量を導出することができる。

図５（ｂ）は、レンズ１０３を薄レンズ近似した場合のレンズを境界とする被写体側（物体側）と撮像素子の（像面側）の結像関係を示す。薄レンズ近似に基づき、以下の式（５）の関係が成り立つ。

１／Ｚｏ＋１／Ｓｏ＝１／ｆ
１／Ｚｄｅｆ＋１／（Ｓｏ＋ＤＥＦ）＝１／ｆ … （５）
ここで、Ｚｏは合焦被写体の物体側距離、Ｚｄｅｆはデフォーカス被写体の物体側距離、Ｓｏは合焦被写体の像面側距離、Ｓｄｅｆはデフォーカス被写体の像面側距離（Ｓｄｅｆ＝Ｓｏ＋ＤＥＦ）である。これらの式から、被写体までの距離は以下の式（６）より求めることができる。

Ｚｄｅｆ＝（Ｓｄｅｆ・ｆ）／（Ｓｄｅｆ－ｆ） … （６）
なお、像ずれ量に関して、以下の式（７）の関係が成り立つ。

ＰＹ・ｘ＝｜Ｓｏ－Ｓｄｅｆ｜・ｆ^２／｛Ｓｏ・Ｆｎｏ・（Ｓｄｅｆ－ｆ）｝ … （７）
像ずれ量は、画素ピッチＰＹに基づく離散量である。つまり、測距分解能は像ずれ量の敏感度で決まる。数７に示す通り、焦点距離ｆが長く、且つＦｎｏが小さいほど最小分解能は大きくなる。このとき、測距対象付近に合焦していると仮定すれば、最小測距分解能ｄ_ＴＯＦは、以下の式（８）のように近似することができる。

ｄ_ＤＥＦ＝ＤＯＦ／２
ＤＯＦ＝２・Ｚｏ^２・Ｆｎｏ・ＰＹ／ｆ^２ … （８）
ここで、ＤＯＦ（Ｄｅｐｔｈ ｏｆ Ｆｉｌｅｄ）は１［ｐｉｘｅｌ］の像ずれ量に相当する被写界深度と同義である。

次に、図６および図７を参照して、本発明の実施例１におけるウェアラブル端末１００によるセンシング情報の提供方法について説明する。図６は、本実施例におけるウェアラブル端末１００によるセンシング情報を、作業対象に応じて表示するシステムの説明図である。図６（ａ）において、作業者（ユーザ）１００１は、ウェアラブル端末１００を装着している。ウェアラブル端末１００は、通信部５４を介して、作業対象オブジェクト１００２、１００３の３次元データを格納したデータベースサーバ１０１０と情報を送受信することが可能である。ここで、データ空間１０１１はデータベースサーバ１０１０のデータ空間を表しており、３次元データ（基準情報）１０２０、１０３０は、例えばそれぞれ作業対象オブジェクト１００２、１００３の３次元ＣＡＤデータである。作業者１００１は作業対象オブジェクト１００３上の点線で記された領域（注視領域、注目領域）１００６を注視している。オブジェクト座標系１００７は、対象作業オブジェクト空間上に固定された座標系である。カメラ座標系１００８は、ウェアラブル端末１００に固定された座標系である。

図７は、本実施例におけるウェアラブル端末１００によるセンシング情報を提供する方法のフローチャートである。図７のフローチャートにおける各処理は、ウェアラブル端末１００のシステム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。図７（ａ）は、ウェアラブル端末１００によるセンシング情報を対象オブジェクト毎に紐付けし（関連付けて）、データベースサーバ１０１０に記憶する方法を示すフローチャートである。図７（ｂ）は、ウェアラブル端末１００によるセンシング情報を、データベースサーバ１０１０に記憶されている基準値と比較し、提示情報を切り替える方法を示すフローチャートである。それぞれ以下に説明する。

まずステップＳ１０１において、システム制御部５０は、撮像部２２によって得られた撮影画像をメモリ３２へ格納する。続いてステップＳ１０２において、システム制御部５０は、特徴点抽出部３３を使用し、撮影画像データから特徴点を抽出する。続いてステップＳ１０３において、システム制御部５０は、メモリ３２に情報保持された過去フレームの特徴点情報を読み出し、新規に抽出した特徴点と合わせて特徴点追跡部３４に送信する。特徴点追跡部３４は、各フレーム間の特徴点のマッチングを行う。続いてステップＳ１０４において、システム制御部５０は、マッチング結果を３次元形状復元部３５に送信する。３次元形状復元部３５は、マッチングされた特徴点を、３次元点群データに変換する。

続いてステップＳ１０５において、システム制御部５０は、データベースサーバ１０１０から、作業対象オブジェクトの３次元データ１０３０を受信する。システム制御部５０は、３次元形状照合部３６を使用して、３次元点群データと、３次元データ１０３０とをアライメントし、位置および姿勢を照合する。続いてステップＳ１０６において、システム制御部５０は、ステップＳ１０５の照合結果に基づき、オブジェクト座標系１００７におけるウェアラブル端末１００の位置及び姿勢（カメラ座標系１００８の位置、姿勢に同義）を推定する。このとき、オブジェクト座標系１００７におけるウェアラブル端末１００の位置及び姿勢を把握することで、複数の同一形状オブジェクトを個体ごとに識別することが可能である。

続いてステップＳ１０７において、システム制御部５０は、寸法測定部３９を用いて、作業対象オブジェクト１００３の寸法を測定する。続いてステップＳ１０８において、システム制御部５０は、傷汚れ検出部（傷検出手段、汚れ検出手段）３７を用いて、作業対象オブジェクト１００３表面上、或いは赤外光で透視することで検出可能な作業対象オブジェクト１００３内部の傷或いは汚れを検出する。続いてステップＳ１０９において、システム制御部５０は、温度計測部３８を用いて、作業対象オブジェクト１００３上の温度分布を測定する。続いてステップＳ１１０において、システム制御部５０は、システムタイマー５３を用いて、ステップＳ１０７、Ｓ１０８、Ｓ１０９のセンシング時刻（検出情報の取得時刻）を計時する。

続いてステップＳ１１１において、システム制御部５０は、データベースサーバ１０１０へセンシング結果（検出情報）を送信し、記憶する。データベースサーバ１０１０は、例えば図８に示されるテーブルのように、センシング結果を記憶する。ここでは、データベースサーバ１０１０は、識別オブジェクトＩＤ（識別情報）、オブジェクト座標系１００７における被センシング位置（被検出位置）の座標、ステップＳ１０７～Ｓ１０９のセンシング結果とセンシング時刻とを紐づけて（関連付けて）記憶する。このとき、例えば寸法情報は、３次元データ１０３０の寸法基準値からの差分値（差分情報）を記憶しても良い。例えば傷或いは汚れの情報は、有無の結果と合わせて、有と判定された際にはその形状を合わせて記憶しても良い。形状は、寸法測定部３９を用いて測定される。

続いてステップＳ１１２において、システム制御部５０は、電源スイッチ７１の検出結果または操作部７０の検出結果に基づき、動作を停止するか否かを判定する。ＹＥＳと判定された場合、センシング処理フローを停止する。ＮＯと判定された場合、ステップＳ１０１に戻り、センシング処理フローを繰り返す。ステップＳ１１３において、システム制御部５０は、図７（ｂ）のフローを実施する。図７（ｂ）を参照して以下に説明する。

まずステップＳ２０１において、システム制御部５０は、注視判定部４３の判定結果を参照し、作業者１００１の注視点を検出する。注視判定は、オブジェクト座標系１００７において、作業者１００１の視線が特定部位に固定されている時間が所定の閾値を越えた場合に、その部位を注視していると判定する。続いてステップＳ２０２において、システム制御部５０は、注視点にあるオブジェクトを識別する。図６に示される例では、作業対象オブジェクト１００３が注視点対象オブジェクトに相当する。

続いてステップＳ２０３において、システム制御部５０は、作業対象オブジェクト１００３の情報をデータベースサーバ１０１０に要求する。続いてステップＳ２０４において、システム制御部５０は、データベースサーバ１０１０から、３次元データ１０３０および図８に示されるテーブル情報を受信する。続いてステップＳ２０５において、システム制御部５０は、最新のセンシング結果と基準値とを比較する。ここで基準値とは、３次元データ１０３０および図８に示されるテーブルの過去情報を意味する。

続いてステップＳ２０６において、システム制御部５０は、基準値と比較して、寸法情報に差異（特徴）があるか否かを判定する。例えば、基準値である３次元データ１０３０の寸法値と、最新の寸法測定値との差分が既定の規格値以上である場合に、差異（特徴）ありと判定する。または、図８に示されるテーブルにおいて、一回前の測定時の過去情報を基準値として、最新の寸法測定値との差分が既定の規格値以上である場合に差異（特徴）ありと判定する。または、図８に示されるテーブルにおいて、初回測定時の過去情報を基準値として、最新の寸法測定値との差分が既定の規格値以上である場合に差異ありと判定する。ＹＥＳであれば、ステップＳ２０７へ移行する。ＮＯであれば、ステップＳ２０８へ移行する。

ステップＳ２０７において、システム制御部５０は、作業対象オブジェクト１００３の寸法測定結果を表示部２９に表示する。表示例を図６（ｂ）に示す。表示１１１０は、表示部２９に表示される映像を示している。寸法表示１０２１は、作業対象オブジェクト１００３の高さ寸法測定結果が規格を満足しておらず寸法値を情報表示した例である。寸法警告表示１０２２は、高さ寸法測定結果が、基準値より幾つ大きいかを示す警告表示例である。

ステップＳ２０８において、システム制御部５０は、基準値と比較して、温度情報に差異（特徴）があるか判定する。例えば、３次元データ１０３０に対して既定されている温度上限値に対して、最新の温度測定結果が既定の規格値以上である場合に、差異（特徴）ありと判定する。または、図８に示されるテーブルにおいて、一回前の測定時の過去情報を基準値として、最新の温度測定値との差分が既定の規格値以上である場合に差異ありと判定する。または、図８に示されるテーブルにおいて、初回測定時の過去情報を基準値として、最新の温度測定値との差分が既定の規格値以上である場合に差異ありと判定する。或いは、一定時間内に計測された一定範囲内の座標の過去温度情報に対して、最新の温度測定値との差分が既定の規格値以上である場合に差異ありと判定する。ＹＥＳであれば、ステップＳ２０９へ移行する。ＮＯであれば、ステップＳ２１０へ移行する。

ステップＳ２０９において、システム制御部５０は、作業対象オブジェクト１００３の温度測定結果を表示部２９に表示する。表示例を図６（ｃ）に示す。表示１１１０は、表示部２９に表示される映像を示している。温度表示１０２３は、作業対象オブジェクト１００３の温度が規格を満足しておらず情報表示した例である。温度表示１０２３は、図６（ｃ）に示のように、等しい温度を色分けして分布表示する方式としても良い。カラーバー表示１０２４は、各色が何℃を示しているかを表している。

ステップＳ２１０において、システム制御部５０は、基準値と比較して、傷汚れ情報に差異（特徴）があるか判定する。例えば、基準値である３次元データ１０３０に対して既定されている傷汚れの許容寸法値を、検出した傷汚れの形状が満足していなければ差異（特徴）ありと判定する。或いは、図８に示されるテーブルにおいて、一回前の測定時の過去情報を基準値として、最新の測定結果で傷汚れの形状が既定の規格値以上変化していれば差異ありと判定してもよい。または、図８に示されるテーブルにおいて、一回前の測定時の過去情報を基準値として、最新の測定結果で傷汚れが検出されなければ、傷汚れがなくなったことを差異ありと判定してもよい。ＹＥＳであれば、ステップＳ２１１へ移行する。ＮＯであれば、ステップＳ２１２へ移行する。

ステップＳ２１１において、システム制御部５０は、作業対象オブジェクト１００３の傷汚れ検出結果を表示部２９に表示する。表示例を図６（ｄ）に示す。表示１１１０は、表示部２９に表示される映像を示している。傷表示１０２５は、作業対象オブジェクト１００３上に基準の規格を超える傷があり、情報表示した例である。傷表示１０２５は、傷１０２７を内包する領域の表示である。傷警告表示１０２６は、傷の形状を示す警告表示例である。ステップＳ２１２において、システム制御部５０は、規格を満足しない測定結果はなかったと判定し、異常がないことを表示部２９に表示する。

以上、ウェアラブル端末１００によるセンシング情報を提供する方法について説明した。本実施例によれば、作業者が必要とする作業対象オブジェクトを識別し、対象オブジェクトに設けられた基準値に対して、満足しないセンシング結果を作業者に情報提示することが可能となる。作業対象でないオブジェクトに関する情報や、必要としないセンシング情報を表示しないことで、表示の煩わしさを軽減することが可能となる。

本実施例では、作業対象オブジェクトの寸法値、温度、傷或いは汚れが基準値と比較して差異がないかを判定し、差異があればステップＳ２０７、２０９、２１１に示すような情報を表示する。例えば、複数のセンシング結果に対して該差異が発生している場合、各情報を合成して同時に表示しても構わない。また、例えば、複数のセンシング結果に対して予め優先度を定め、優先度の高いセンシング結果のみ情報表示しても構わない。また、例えば、各センシング結果において、該差分の程度をレベル判定できる構成とし、レベルが高い（差分が大きい）センシング結果を優先して表示する構成としても構わない。

本実施例の構成では、３次元データ１０３０をデータベースサーバ（記憶装置）１０１０から受信し、且つセンシング結果をデータベースサーバ１０１０に記憶する方式としたが、データベースサーバ１０１０は必須ではない。例えば、ウェアラブル端末１００の記憶装置に必要な３次元データおよびセンシング結果を全て保存する方式としても構わない。一方、データベースサーバ１０１０する利点としては、ウェアラブル端末１００の記憶容量を削減できる点がある。また、複数のウェアラブル端末１００を使用した場合に、センシング情報を共有できる利点がある（複数のウェアラブル端末により検出した検出情報を共通の記憶装置に記憶させることができる）。

本実施例の図７に示される処理フローは、複数のウェアラブル端末１００を用いて実施する構成としても構わない。他のウェアラブル端末１００でセンシングした結果を基準値として使用しても構わない。

本実施例では、ステップＳ１０５において、３次元データ１０３０と３次元点群データとを照合する構成としたが、３次元データ１０３０は必ずしも必要ではない。過去に取得した３次元点群データを基準値としても勿論構わない。また、３次元復元方法は３次元点群データを生成する方式に限らない。特徴量を点ではなく、線や円などの幾何学量とし、３次元復元する方式を用いても構わない。また、Ｄｅｎｓ ＳＬＡＭのような撮影画像データの画素を全て用いて３次元復元する方式としても構わない。

本実施例では、寸法、温度、或いは傷汚れをセンシング情報として表示する方式としたが、これに限定されるものではない。複数のセンシング情報を、基準値（基準情報）からの差分情報に基づき、提示を切り替える方式であれば、どのようなセンシング情報を用いても構わない。

本実施例では、図８に示されるテーブルに基づき情報を記憶する方式としたが、これに限定されるものではない。過去のセンシング情報と最新のセンシング情報との比較が可能であれば、この方式に限定されるものではない。

本実施例では、注視点検出手段により注視オブジェクトを識別する方式としたが、これに限定されるものではない。何らかの操作手段による選択により作業対象オブジェクトを指定する方式としても勿論構わない。

次に、図９および図１０を参照して、本発明の実施例２におけるウェアラブル端末１００によるセンシング情報の提供方法について説明する。実施例１では、単数のウェアラブル端末１００による構成を説明したが、本実施例では、複数のウェアラブル端末１００により、一方のウェアラブル端末１００からは見えない死角にあたる作業領域の情報を、作業者に提供する方法を説明する。実施例１では、作業対象に関して提示される情報は、ユーザが見ている対象の情報のみとなる。このため、例えば点検作業において、作業者にとって死角の位置に点検すべき対象がある場合、実施例１では見過ごす可能性がある。本実施例では、複数のユーザがウェアラブル端末１００を使用した場合に、一方のユーザが注目する作業対象の死角領域に対して、他のユーザが得た情報を提供することが可能な構成を説明する。

図９は、本実施例における２台のウェアラブル端末１００ａ、１００ｂにより、ユーザの死角を補助するシステムの説明図である。図９において、主作業者である作業者（ユーザ）１００１ａは、ウェアラブル端末１００ａを装着している。副作業者である作業者（ユーザ）１００１ｂは、ウェアラブル端末１００ｂを装着している。ウェアラブル端末１００ａ、１００ｂは、通信部５４を介して、画像データを含む情報を相互に送受信することが可能である。作業者１００１ａは、作業対象オブジェクト１００２上の点線で記された領域１００４を注視している。一方、作業対象オブジェクト１００２上の点線で記された死角領域１００５は、作業者１００１ａから見て作業対象オブジェクト１００２の裏側の領域であり、作業者１００１ａの死角となる。表示１１１０ａは、ウェアラブル端末１００ａの表示部２９上に表示される表示画像を表している。表示１１１０ｂは、ウェアラブル端末１００ｂの表示部２９上に表示される表示画像（撮影画像）である。オブジェクト座標系１００７は、対象作業オブジェクト空間上に固定された座標系である。カメラ座標系１００８ａは、ウェアラブル端末１００ａに固定された座標系である。カメラ座標系１００８ｂは、ウェアラブル端末１００ｂに固定された座標系である。

図１０は、本実施例における２台のウェアラブル端末１００ａ、１００ｂにより、ユーザの死角を補助する方法のフローチャートである。図１０のフローチャートにおける各処理は、各ウェアラブル端末１００のシステム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。ウェアラブル端末１００ａ、１００ｂのそれぞれのシステム制御部５０は、実施例１（図７）のステップＳ１０１～Ｓ１１２のフローを繰り返し実行している。ステップＳ１１３において、ウェアラブル端末１００ａのシステム制御部５０が、操作部７０を介して、死角補助表示を要求されたと判定した場合、図１０に示される処理フローが開始される。

まず、ウェアラブル端末１００ａの処理ステップＳ３０１～Ｓ３１１について説明する。ステップＳ３０１は、ステップＳ２０１と同じであるため説明は省略する。続いてステップＳ３０２において、システム制御部５０は、注視点にあるオブジェクトがどれであるか識別する。図９に示す例では、作業対象オブジェクト１００２上の領域１００４を注視していると判定され、作業対象オブジェクト１００２が注視点対象オブジェクトと判定される。続いてステップＳ３０３において、システム制御部５０は、作業対象オブジェクト１００２の情報をデータベースサーバ１０１０に要求する。

続いてステップＳ３０４において、システム制御部５０は、データベースサーバ１０１０から、３次元データ１０２０を受信する。システム制御部５０は、３次元形状照合部３６を使用して、３次元点群データと、３次元データ１０２０とをアライメントし、位置および姿勢を照合する。続いてステップＳ３０５において、システム制御部５０は、ステップＳ３０４の照合結果に基づき、オブジェクト座標系１００７におけるウェアラブル端末１００ａの位置及び姿勢を推定する。また、作業対象オブジェクト１００２の位置及び姿勢と、ウェアラブル端末１００ａの位置及び姿勢との幾何学的関係から、ウェアラブル端末１００ａの死角領域１００５を算出する。続いてステップＳ３０６において、システム制御部５０は、オブジェクト座標系１００７における死角領域１００５の座標情報と、ウェアラブル端末１００ａの撮影画像情報をウェアラブル端末１００ｂへ送信する。

続いてステップＳ３０７において、システム制御部５０は、ウェアラブル端末１００ｂから死角領域１００５の検知有無の結果、および検知有であれば画像情報を受信する。このとき、ウェアラブル端末１００ｂによる死角領域１００５のセンシング結果（ステップＳ１０７、Ｓ１０８、及びＳ１０９で取得した結果に相当）を合わせて受信する。続いてステップＳ３０８において、システム制御部５０は、ウェアラブル端末１００ｂから死角領域１００５の検知有無結果が、ＹＥＳかＮＯかを確認する。ＹＥＳ（検知ＯＫ）であれば、ステップＳ３０９へ進む。一方、ＮＯ（検知ＮＧ）であれば、ステップＳ３１１へ進む。

ステップＳ３０９において、システム制御部５０は、表示部２９上にウェアラブル端末１００ｂから受信した死角領域１００５を含む画像を表示する。その表示例を図９（ａ）に示す。図９（ａ）において、表示１１１０ａは、ウェアラブル端末１００ａの表示部２９に表示される映像を示している。ウェアラブル端末１００ａで撮影された作業対象オブジェクト１００２が１００２ａ、作業対象オブジェクト１００３が１００３ａである。また、ウェアラブル端末１００ａからみた注視領域１００４が１００４ａである。１１２０ａは、ウェアラブル端末１００ｂから受信したウェアラブル端末１００ｂによる撮影画像である。受信画像１１２０ａにおいて死角領域１００５は１００５ｂとして斜線で示され強調表示されている。

続いてステップＳ３１０において、システム制御部５０は、実施例１（図７）のステップＳ２０５～Ｓ２１２の処理を、死角領域１００５を対象として実施する。ただし、このとき、ステップＳ２０５で使用するセンシング結果は、ステップＳ３０７で受信したウェアラブル端末１００ｂによるセンシング結果である。

ステップＳ３１１において、システム制御部５０は、表示部２９上に、ウェアラブル端末１００ｂが死角領域１００５を検知できない旨を警告表示する。

次に、ウェアラブル端末１００ｂの処理ステップＳ４０１～Ｓ４０６について説明する。ステップＳ４０１～Ｓ４０６のフローは、ウェアラブル端末１００ｂのシステム制御部５０が、ステップＳ１１３にて、通信部５４を介して、死角補助撮影を要求されたと判定した場合に開始される。

まずステップＳ４０１において、システム制御部５０は、オブジェクト座標系１００７における死角領域１００５の座標情報と、ウェアラブル端末１００ａの撮影画像情報を受信する。続いてステップＳ４０２において、システム制御部５０は、受信した死角領域１００５の座標情報を、カメラ座標系１００８ｂ上の座標に変換する。座標変換は、ステップＳ３０５と同様の処理で、作業対象オブジェクト１００２の位置および姿勢と、ウェアラブル端末１００ｂの位置および姿勢との幾何学的関係を算出する過程を経て行われる。続いてステップＳ４０３において、システム制御部５０は、カメラ座標系１００８ｂ上における死角領域１００５の座標情報に基づき、ウェアラブル端末１００ｂの撮影視野内に死角領域１００５が含まれるか否かを判定する。ＹＥＳ（死角領域１００５がウェアラブル端末１００ｂの撮影視野内）であれば、ステップＳ４０４へ進む。一方、ＮＯ（死角領域１００５がウェアラブル端末１００ｂの撮影視野外）であれば、ステップＳ４０６へ進む。

ステップＳ４０４において、システム制御部５０は、表示部２９上において、死角領域１００５を強調表示する。表示例を図９（ｂ）に示す。図９（ｂ）において、表示１１１０ｂは、ウェアラブル端末１００ｂの表示部２９に表示される映像（撮影画像）である。ウェアラブル端末１００ｂで撮影された作業対象オブジェクト１００２が１００２ｂ、作業対象オブジェクト１００３が１００３ｂである。また、ウェアラブル端末１００ｂから見た死角領域１００５が１００５ｂである。表示例では、死角領域１００５は斜線により強調表示されている。また、１１２０ｂは、ウェアラブル端末１００ａから受信したウェアラブル端末１００ａによる撮影画像である。受信画像１１２０ｂにおいて注視領域１００４は１００４ａとして示された領域である。

続いてステップＳ４０５において、システム制御部５０は、死角領域１００５の検知有り結果と、死角領域１００５を含む撮影画像を、ウェアラブル端末１００ａに送信する。このとき、ウェアラブル端末１００ｂによる死角領域１００５のセンシング情報を、図８に示されるテーブルの形でウェアラブル端末１００ａに送信する。

ステップＳ４０６において、システム制御部５０は、死角領域１００５の検知無し結果をウェアラブル端末１００ａに送信する。

以上、本実施例におけるウェアラブル端末１００ａ、１００ｂによるセンシング情報の提供方法について説明した。本実施例によれば、複数のウェアラブル端末１００ａ、１００ｂにより、ある作業者からは見えない死角領域を補助し、死角領域に対してもセンシング結果を情報提示することが可能である。また、死角領域の画像情報を他のウェアラブル端末１００より受信し、表示部２９に表示することで、作業における死角部の見落としを防ぐことができる。

本実施例では、ステップＳ３０６において、ウェアラブル端末１００ａが死角領域１００５の座標をオブジェクト座標系１００７へ変換してからウェアラブル端末１００ｂに送信する方法としたが、これに限定されるものではない。例えば、ウェアラブル端末１００ｂがカメラ座標系１００８ａにおける死角領域１００５の座標を受信し、該座標変換を行う構成としてもよい。または、ウェアラブル端末１００ｂがウェアラブル端末１００ａから死角領域１００５を含む撮影画像情報のみを受信し、該撮影画像情報をもとに該座標変換を行う構成としても構わない。或いは、データベースサーバ１０１０がオブジェクト座標系１００７と各カメラ座標系間の座標変換を行っても良い。

本実施例では、ステップＳ４０６において、死角領域１００５が検知できないことをウェアラブル端末１００ａに送信する構成としたが、各ウェアラブル端末１００と対象オブジェクトの位置関係を示す情報を作成し、共有する構成としても構わない。図１１は、ウェアラブル端末１００ａ、１００ｂで共有する位置関係情報の表示例である。例えば、ウェアラブル端末１００ａ、１００ｂと、作業対象オブジェクト１００２、１００３を上から俯瞰して見られるような地図表示を行っても良い。図１１において、１２２０で示す点線は、ウェアラブル端末１００ｂの撮影視野角を表しており、死角領域１００５が視野外であることを明示している。これにより、作業者１００１ｂは、どちらの方向に移動すれば死角領域１００５を撮影できるか分かる。また、作業者１００１ａは、死角領域１００５を撮影可能な作業者が近くにいるか否かを知ることができる。

また本実施例において、データベースサーバ１０１０を設けなくてもよい。例えば、各ウェアラブル端末１００の記憶装置に必要な３次元データおよびセンシング結果を分散して保存し、必要なデータを所有しているウェアラブル端末１００から受信する方式としても構わない。

本実施例では、注視点検出手段により注視オブジェクトを識別する方式としたが、これに限定されるものではない。何らかの操作手段による選択により作業対象オブジェクトを指定する方式としても構わない。

本実施例では、ウェアラブル端末１００ａ、１００ｂのいずれも同じハードウェア構成を使用する例を示したが、死角を補助できるハードウェア構成であれば、異なる複数のハードウェアを使用しても構わない。例えば、ウェアラブル端末ではなく、ハンドヘルドカメラの構成としても構わない。また、ドローンや移動ロボットのような自律移動端末としても構わない。

本実施例では、ウェアラブル端末１００ａ、１００ｂの２台の端末を使用する構成としたが、これに限定されるものではなく、何台の端末を使用してもよい。本実施例を適用することで、死角領域を撮影できた端末の撮影画像のみ、主作業者の端末に送信することができる。これにより、複数端末間の通信量の低減する効果が期待できる。また、主作業者の端末に全ての端末の撮影情報を表示するのは煩わしい。本実施例を適用することで、必要とする死角領域を撮影できた端末の撮影画像のみ送信することができ、前述の煩わしさを低減することができる。

次に、図１２および図１３を参照して、本発明の実施例３におけるウェアラブル端末１００によるセンシング情報の提供方法について説明する。図１に示される外観図の通り、ＴＯＦ検出部（第２の測距手段）８３は、撮像ユニット１５０Ｒ、１５０Ｌの両レンズ光学系の外に配置され、撮像部（第１の測距手段）２２より広角な画角を有する。検出範囲は数メートルであり、測距分解能は測定対象までの距離に依存する。撮像部２２の撮像面位相差測距方式では、撮像ユニット１５０Ｒ、１５０Ｌ内の光学ズーム倍率を代表とするレンズパラメータにより、測距精度が変動する。本実施例では、測距距離に依存する測距センサと、レンズ機構に依存する測距センサを搭載した構成において、測距精度を向上させる方法を説明する。

図１２は、本実施例におけるウェアラブル端末１００により寸法測定を行う方法のフローチャートである。図１２のフローチャートにおける各処理は、ウェアラブル端末１００のシステム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。ウェアラブル端末１００のシステム制御部５０は、実施例１（図７）のステップＳ１０１～Ｓ１１２のフローを繰り返し実行している。ステップＳ１０７において、システム制御部５０が、寸法測定部３９を用いて、作業対象オブジェクト１００３の寸法を測定する際に、図１２に示される処理フローが開始される。

ステップＳ５０１は、ステップＳ２０１と同様であるため、その説明を省略する。続いてステップＳ５０２において、システム制御部５０は、ＡＦ駆動回路３を介して、レンズ１０３内のフォーカスレンズを変位させることで注視点に合焦させるＡＦ処理を実行する。続いてステップＳ５０３において、システム制御部５０は、注視点に対してＡＥ処理を実施し、撮像部２２での露光が適量になるようにレンズ１０３内の絞り１開口を制御する。このとき、撮像部２２の露光時間及び光電変換時の変換ゲインを変更しても構わない。続いてステップＳ５０４において、システム制御部５０は、赤外ＬＥＤ照明部（第２の測距手段）８１により赤外光を照射し、反射光の遅れ時間をＴＯＦ検出部８３により測定することで、注視点付近の対象物までの距離Ｄ＿ＴＯＦを算出する。

続いてステップＳ５０５において、システム制御部５０は、ＴＯＦ検出部８３による測距信頼度（第２の信頼度）α＿ＴＯＦを、以下の式（９）に示されるように算出する。

α＿ＴＯＦ＝ｋ１・（ｄ_Ｔｍａｘ－ｄ_ＴＯＦ）／ｄ_Ｔｍａｘ … （９）
ここで、ｋ１は定数、ｄ_ＴＯＦは数１に示す測距分解能、ｄ_Ｔｍａｘは最大測距分解能であり、有効測距範囲内においてｄ_ＴＯＦはｄ_Ｔｍａｘ以下の値となる。数１に示す有効信号電子数Ｎは被写体の距離に依存する。例えば被写体の距離と有効信号電子数Ｎの関係をテーブルとし、予め不揮発性メモリ５６に記憶しておく構成としても良い。

続いてステップＳ５０６において、システム制御部５０は、撮像部２２の撮像面位相差測距方式により、注視点付近の対象物までの距離Ｄ＿ＤＥＦを算出する。続いてステップＳ５０７において、システム制御部５０は、撮像部２２の撮像面位相差測距方式による測距信頼度（第１の信頼度）α＿ＤＥＦを、以下の式（１０）に示されるように算出する。

α＿ＤＥＦ＝ｋ２・（ｄ_Ｄｍａｘ－ｄ_ＤＥＦ）／ｄ_Ｄｍａｘ … （１０）
ここで、ｋ２は定数、ｄ_ＤＥＦは数８に示す測距分解能、ｄ_Ｄｍａｘは最大測距分解能であり、有効デフォーカス量の範囲内においてｄ_ＤＥＦはｄ_Ｄｍａｘ以下の値となる。

続いてステップＳ５０８において、システム制御部５０は、以下の式（１１）により、対象被写体に対する測距結果Ｄｅｐｔｈを算出する。

Ｄｅｐｔｈ＝Ｄ＿ＤＥＦ・α＿ＤＯＦ／（α＿ＤＥＦ＋α＿ＴＯＦ）＋Ｄ＿ＴＯＦ・α＿ＴＯＦ／（α＿ＤＥＦ＋α＿ＴＯＦ） … （１１）
ここで、式（１１）は式（９）および式（１０）に示される各測距信頼度を重みとし、両測距手段による測距結果の内分点をとることに同義である。式（１１）により、各信頼度を反映した測距結果を得ることができる。

続いてステップＳ５０９において、システム制御部５０は、Ｄｅｐｔｈ測定結果を寸法測定部３９に送信し、測定対象の寸法を測定する。図１３は、ウェアラブル端末１００に搭載した２つの測距手段の測距信頼度の説明図である。図１３（ａ）中の１３０１は、ＴＯＦ検出部８３から測距対象までの距離Ｚと、測距信頼度α＿ＴＯＦの関係を表すグラフである。測距信頼度α＿ＴＯＦは、最小測距距離Ｚ_ｍｉｎから最大測距距離Ｚ_ｍａｘまでの間の距離において有効であり、それ以外の距離では無効（α＿ＴＯＦ＝０）とする。測距信頼度α＿ＴＯＦの値は、測距対象が最小測距距離Ｚ_ｍｉｎに近いほど高く、遠いほど低い値となる。

図１３（ｂ）中の１３０２は、レンズ１０３の被写界深度ＤＯＦと、測距信頼度α＿ＤＥＦの関係を表すグラフである。測距信頼度α＿ＤＥＦは、最小被写界深度ＤＯＦ_ｍｉｎから最大被写界深度ＤＯＦ_ｍａｘまでの間の被写界深度において有効であり、それ以外の被写界深度では無効（α＿ＤＥＦ＝０）とする。測距信頼度α＿ＤＥＦの値は、測距対象位置での被写界深度が最小被写界深度ＤＯＦ_ｍｉｎ以上で浅いほど高く、深いほど低い値となる。例えば、測距対象が比較的近い位置にある場合、測距信頼度α＿ＴＯＦは高い値となる。

一方、ユーザが近い位置を見るためにレンズ１０３の光学ズーム倍率を下げると、被写界深度ＤＯＦは深くなり、測距信頼度α＿ＤＥＦは低い値となる。結果として、Ｄｅｐｔｈ算出におけるＤ＿ＴＯＦの参照比率が高まる。例えば、測距対象が比較的遠い位置にある場合、測距信頼度α＿ＴＯＦは低い値となる。一方、ユーザが遠い位置を見るためにレンズ１０３の光学ズーム倍率を上げると、被写界深度ＤＯＦは浅くなり、測距信頼度α＿ＤＥＦは高い値となる。結果として、Ｄｅｐｔｈ算出におけるＤ＿ＤＥＦの参照比率が高まる。以上のように、式（１１）によれば、測距対象位置に応じて、両測距方式による利点を生かし、測距精度を向上させることができる。

このように本実施例において、ウェアラブル端末１００は、第１の測距手段（撮像部２２）と、第２の測距手段（赤外ＬＥＤ照明部８１、ＴＯＦ検出部８３）とを有する。またウェアラブル端末１００は、第１の算出手段、第２の算出手段、および第３の算出手段として機能する制御手段（システム制御部５０）を有する。第１の算出手段は、第１の測距手段による第１の測距結果に関する第１の信頼度（第１の測距信頼度）を算出する。第２の算出手段は、第２の測距手段による第２の測距結果に関する第２の信頼度（第２の測距信頼度）を算出する。第３の算出手段は、第１の信頼度と第２の信頼度とに基づいて、第１の測距結果と第２の測距結果との参照比率を変えて測距結果を算出する。第１の信頼度は、測距対象位置におけるレンズユニットの被写界深度が深いほど低い。第２の信頼度は、測距対象位置が第２の測距手段から遠いほど低い。

本実施例において、好ましくは、ウェアラブル端末１００は、ユーザが注視している注視領域（領域１００６）を判定する判定手段（注視判定部４３）を有する。第１の測距手段は、レンズユニット（レンズ１０３）を注視領域に合焦させ、合焦対象位置の測距を行う。また好ましくは、第２の測距手段は、第１の測距手段の第１の測距画角を含み、かつ第１の測距画角よりも広角な第２の測距画角を有する。

以上、本実施例のウェアラブル端末１００によるセンシング情報の提供方法について説明した。本実施例によれば、ウェアラブル端末１００による、複数の測距手段による出力結果を情報統合し、測距精度を向上させることが可能である。

なお、ＴＯＦ検出方式のＳＮＲは測距対象物の反射光量に依存する。よって、式（１）に示される有効信号電子数Ｎは、距離だけでなく、対象物の反射率や周囲環境光にも影響を受ける。よって測距信頼度α＿ＴＯＦは、被写体及びシーンに依存する値としても構わない。例えば、撮像部２２による撮影画像から、ＤｅｅｐＬｅａｒｎｉｎｇによる被写体識別を行い、被写体の反射率に応じて有効信号電子数Ｎの推測値を変更する構成としても構わない。同様に、ＤｅｅｐＬｅａｒｎｉｎｇによるシーン識別を行い、例えば昼と夜とのシーンの差で、有効信号電子数Ｎの推測値を変更する構成としても構わない。

また、ＴＯＦ検出方式は透明物体や半透明物体の検知が苦手という弱点がある。例えば、被写体識別結果により、透明物体と判定された場合には、α＿ＴＯＦの値をゼロにしても構わない。すなわち制御手段（システム制御部５０）は、被写体が透明物体または半透明物体である場合、第２の信頼度をゼロにしてもよい。式（１１）より撮像面位相差測距方式の結果のみを参照することとなり、ＴＯＦによる透明物体に対する誤検出結果を除外することができる。

また本実施例において、好ましくは、制御手段は、測距対象距離が第２の測距手段の最短測距可能距離よりも近い場合、または、測距対象距離が第２の測距手段の最長測距可能距離よりも遠い場合、第２の信頼度をゼロにする。また好ましくは、制御手段は、レンズユニットの被写界深度が第１の測距手段の最小被写界深度よりも浅い場合、または、レンズユニットの被写界深度が第１の測距手段の最大被写界深度よりも深い場合、第１の信頼度をゼロにする。

なお、撮像面位相差測距方式による測距精度は、式（８）に示す通り、レンズ１０３の焦点距離および絞り開口に依存する。例えば、α＿ＤＥＦの値に下限閾値を設け、下限閾値を下回る場合には焦点距離及び絞り開口を変更する構成としても構わない。より具体的には、α＿ＤＥＦの値が下限閾値を下回る場合には、光学ズーム倍率を上げることで、α＿ＤＥＦの値を向上させることができる。加えて、露光量が撮像部２２の飽和上限値に達しない範囲であれば、絞り開口を開く制御を行うことで、α＿ＤＥＦの値を向上させることができる。すなわち本実施例において、好ましくは、ウェアラブル端末１００は、レンズ１０３のズーム手段のズーム倍率を変更するズーム変更手段（レンズシステム制御回路４）と、レンズ１０３の絞り１の開口を変更する絞り変更手段（絞り駆動回路２）とを有する。そして制御手段は、第１の信頼度が所定の閾値よりも小さい場合、ズーム変更手段または絞り変更手段の少なくとも一方を、第１の信頼度が高くなるように制御する。

本実施例では、デフォーカス量は撮像面位相差測距方式（位相差検出方式）による視差を有する関係にある画像群に基づいて生成されるが、この方式に限定されるものではない。例えば、ピントや絞り値が異なる２枚の画像の相関からデフォーカス量を導出するＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ方式（ＤＦＤ方式）を用いてもよい。または、Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ方式を用いてもよい。いずれの方式で得たデフォーカス量であっても、同様に本発明を実現することができる。

本実施例では、ＴＯＦ検出部８３による測距結果を使用する構成としたが、この方式に限定されるものではない。例えば、ステレオカメラのような２枚の画像の視差から、距離を算出する方式としても構わない。ソナーのように超音波を対象物に発射し、反射音波の時間差から測距する方式としても構わない。幾何学的なパターン光を照射し、反射パターンの幾何学的形状から測距するアクティブステレオ方式としても構わない。すなわち、測距性能が距離に依存する測距方式であれば、同様に本実施例を適用可能である。

次に、図１４乃至図１８を参照して、本発明の実施例４におけるウェアラブル端末１００による表示敏感度の制御方法について説明する。表示敏感度の制御とは、ウェアラブル端末１００を用いて被写体を拡大表示して視認している際の表示画角制御に関する。

図１４は、本実施例におけるウェアラブル端末１００の撮影画角と表示画角との関係の説明図であり、ユーザ２０００が被写体を望遠で視認している際の撮像部（撮像手段）２２と表示部（表示手段）２９との関係を示す。撮像部２２の画角（撮影画像）２００３は撮像部２２の画角を示しており、被写体２００１および被写体２００１の周辺領域を撮像している。一方、表示部２９の画角２００４は、撮像部２２の撮像画像を画像処理部２４にて一部または全部を切り出し、表示部２９に特定の倍率で表示される表示画像の画角を示している。表示部２９の画角２００４内の被写体画像２００２は、撮像部２２の画角２００３内の被写体２００１を特定の倍率で拡大表示したものである。

図１５は、図１４をＹ軸方向から見た俯瞰図である。なお、図１４と同じ符号については説明を省略する。図１５は、表示部２９に映る特定の倍率をα倍とした場合の図である。撮像ユニット１５０Ｌを例としているが、撮像ユニット１５０Ｒでも同様の制御である。表示部２９の画角２００４の中心にある被写体画像２００７は、撮像部の画角２００３の中心にある被写体２００６を特定の倍率で拡大表示したものである。撮像ユニット１５０Ｌに結像している被写体２００１と光軸の角度をθとし、表示部２９における表示部の画角２００４の中心と被写体画像２００２の角度をΦとする。

ユーザ２０００の注視点が被写体画像２００７にあり、注視点を被写体画像２００２に移す場合、ユーザ２０００は表示部２９の表示画像をもとにΦだけ頭部の向きを変える。ユーザ２０００の頭部につけられたウェアラブル端末１００は、撮像ユニット１５０Ｌと表示部２９は一体となっているため、撮像ユニット１５０ＬもΦだけ向きが変わり、点２００５に光軸が映ることになる。ユーザ２０００は被写体画像２００２を視認したいが、表示部２９においてα倍の拡大表示をしているため、結果的に被写体２００１を見失うことになる。図１５は、Ｙ軸方向から見た俯瞰図を用いてＸ軸である水平方向の頭部移動を示す例であるが、不図示のＹ軸で垂直方向に頭部を移動したときも同様である。

図１６は、ウェアラブル端末１００の並進移動に対する表示画角制御の説明図であり、図１５の撮像ユニット１５０Ｌに結像している画像と、表示部２９の表示画像を示す。なお、図１４と同じ符号については説明を省略する。図１６（ａ）は、撮像部の画角２００３を示し、切り出し画角２２０１と被写体２００１の関係を示している。図１６（ｂ）は、表示部の画角２００４を示し、図１６（ａ）の切り出し画角２２０１をと同一であり、図１５に示されるように、撮像部の画角２００３の一部をα倍の倍率で表示部２９に拡大表示したものある。図１６（ｃ）と図１６（ｄ）との関係、および、図１６（ｅ）と図１６（ｆ）との関係は、図１６（ａ）と図１６（ｂ）との関係と同様である。

図１８は、ウェアラブル端末１００による表示画角制御のフローチャートである。まずステップＳ６０１において、システム制御部５０は、撮像ユニット１５０Ｌの切り出し範囲リセット判定を行う。本実施例の切り出し範囲リセットとは、切り出し画角２２０１の中心座標を撮像部の画角２００３の中心に戻すことを示す。例えば、ユーザ２０００が操作部（リセット操作手段）７０を操作してリセット動作を行うことにより実行される。続いてステップＳ６０２において、システム制御部５０は、切り出し範囲をリセットするか否かを判定する。切り出し範囲をリセットする場合、ステップＳ６０６に進む。一方、切り出し範囲をリセットしない場合、ステップＳ６０３に進む。

ステップＳ６０３において、システム制御部５０は、表示敏感度制御モード判定を行う。表示敏感度制御モードの判定は、ユーザ２０００が予め操作部（モード選択手段）７０を用いてモードを選択することにより実行する、または、注視判定部（判定手段）４３により特定の対象物を注視しているか否かにより実行する、などである。注視判定部４３による注視判定を表示敏感度制御モード判定に用いる場合、注視判定部４３で注視していると判定した場合は、表示敏感度制御モードを行い、注視判定部４３で注視してないと判定した場合は、表示敏感度制御モードを行わない。

続いてステップＳ６０４において、システム制御部５０は、表示敏感度制御モードであるか否か（表示敏感度制御を行うか否か）を判定する。表示敏感度制御を行う場合、ステップＳ６０５に進む。一方、表示敏感度制御を行わない場合、ステップＳ６０６またはステップＳ６０７に進む。

ステップＳ６０５の表示敏感度制御のうち、撮像部２２の画角２００３の並進移動に対する表示画角制御について、図１６を参照して説明する。図１６（ｄ）に示されるように、第１の注視点２２０３にある表示部の画角２００４の中心を、第２の注視点２２０２に移す場合を考える。図１６（ｄ）の表示部２９の画角２００４において、第１の注視点２２０３と第２の注視点２２０２の角度はΦである。また、ウェアラブル端末１００を装着しているユーザと表示部２９との距離をｘとし、表示部２９における第１の注視点２２０３と第２の注視点２２０２との距離をαｄとする。距離ｄは、後述する撮像部２２の画角２００３上での第１の注視点２２０３と第２の注視点２２０２との距離である。距離αｄは、距離ｄにα倍の拡大倍率を掛けた距離である。したがって、距離αｄ＝ｘｔａｎΦの関係となり、ユーザが角度Φだけ頭部を移動させた場合の表示部２９における第１の注視点２２０３と第２の注視点２２０２との距離が算出可能となる。

一方、図１６（ｃ）に示されるように、撮像部の画角２００３を基準に見ると、第１の注視点２２０３と第２の注視点２２０２との角度はθであり、このときの撮像部２２の画角２００３上での第１の注視点２２０３と第２の注視点２２０２との距離はｄである。図１６（ｅ）は、図１６（ｄ）に示される表示部２９の画角２００４基準で第１の注視点２２０３から第２の注視点２２０２に画角中心を移動させるためにユーザ２０００が頭部をΦだけ動かしたときの、撮像部の画角２００３を示す。第１の注視点２２０３は、撮像部の画角２００３の中心からαｄだけ離れた位置に移動する。このとき、ユーザ２０００が頭部を動かす前の撮像部の画角２００３の中心であった第１の注視点２２０３と切り出し画角２２０１の中心の角度がθとなるように、切り出し画角２２０１を（α―１）ｄの距離だけ移動させる。このように、切り出し画角２２０１を撮像部の画角２００３の中心から移動することにより、図１６（ｆ）に示されるように、表示部の画角２００４は、第２の注視点２２０２が中央に表示されるように制御可能となる。

前述では、ユーザの第１の注視点２２０３と第２の注視点２２０２の移動量で説明を行った。換言すると、任意の被写体投影点に対し、ウェアラブル端末１００の移動中の撮影フレーム間における投影点の移動量と、表示フレーム間における投影点が移動する移動量とが一致するように撮影画像の切り出し位置を変更する。ここで、撮影フレーム間における該投影点移動量とは、撮像フレームのｘ、ｙ軸の最大ピクセル数で正規化した座標系における移動量を示す。同様に、表示フレーム間における該投影点が移動する移動量とは、表示フレームのｘ、ｙ軸の最大ピクセル数で正規化した座標系における移動量を示す。

なお図１６（ｅ）の例では、切り出し画角２２０１が撮像部の画角２００３の左端に近い位置の切り出し位置となり、切り出し位置を左方向に移動させる余地が少ない。この場合、図１６（ｆ）に示されるように、切り出し位置警告２２０４を表示部の画角２００４の右端に表示する、または、指示方向バー（補助表示）２２０５を表示することで、ユーザ２０００に表示敏感度制御限界の警告報知を行うことができる。または、撮像ユニット１５０Ｌが光学ズーム（不図示）を有する場合、光学ズームを広角側に制御することで、被写体画像２００２が撮像部の画角２００３から外れにくくするように制御してもよい。

次に、図１７を参照して、図１８のステップＳ６０５における表示敏感度制御のうち撮像部２２の画角２００３の光軸を中心とした回転に対する表示画角制御について説明する。図１７は、ウェアラブル端末１００の光軸回転に対する表示画角制御の説明図である。図１７（ａ）は、撮像部の画角２００３を示し、撮像ユニットの画角中心２３０１、切り出し画角２２０１、および第１の座標点２３０２の関係を示している。ここで、第１の座標点２３０２は、切り出し画角２２０１の中心にあり、表示部の画角中心（表示画像上の中心）２３０３と対応している。図１７（ｂ）は、表示部２９の画角２００４を示し、図１７（ａ）の切り出し画角２２０１と同一であり、図１５に示されるように撮像部の画角２００３の一部をα倍の倍率で表示部２９に拡大表示している。なお、図１７（ｃ）と図１８（ｄ）との関係は、図１７（ａ）と図１７（ｂ）との関係と同様である。

ここで、図１７（ｂ）に示されている表示部の画角２００４を見ているユーザ２０００が、表示部２９の画角２００４基準で表示部の画角中心２３０３を軸に角度βだけ回転表示させるために、ユーザ２０００が角度βだけ頭部を回転させた場合を考える。図１７（ｃ）は、表示部２９の画角中心２３０３を軸に角度βだけ回転表示させるために、ユーザ２０００が角度βだけ頭部を回転させたときの撮像部の画角２００３を示している。

このとき、切り出し画角２２０１の中心は、第１の座標点２３０２から第２の座標点２３０４に移動する。第２の座標点２３０４は、撮像ユニットの画角中心２３０１と第１の座標点２３０２とを結ぶ線分を撮像ユニットの画角中心２３０１に角度βだけ回転させたときの撮像ユニットの画角中心２３０１とは異なる端点である。切り出し画角２２０１の中心を第２の座標点２３０４に移動させることで、結果、図１７（ｄ）に示す表示部の画角中心２３０３に角度βだけ回転させた表示部の画角２００４となる。同様に、撮像ユニット１５０Ｌを撮像ユニットの画角中心２３０１を軸に回転させた場合、切り出し画角２２０１の中心点は、撮像ユニットの画角中心２３０１から第１の座標点２３０２を半径とする円２３０５の上を移動することになる。

図１８のステップＳ６０６では、常に撮像部２２の画角２００３における切り出し画角２２０１の中心と撮像ユニットの画角中心２３０１を一致させた状態で、表示部２９にて特定の倍率の画像を表示する。ステップＳ６０７では、表示部２９の画角２００４上で撮像部の画角２００３における任意の被写体投影点が固定されるように制御する表示固定制御を行う。表示固定制御は、防振制御として通常のデジタルカメラで行われており、公知の技術のため詳細な制御については省略する。

このように本実施例において、好ましくは、システム制御部（制御手段）５０は、ユーザからのモード選択を受け付ける操作部（モード選択手段）７０により第１のモードが選択されている場合、切り出し位置を撮影画像の中心に固定する。また好ましくは、制御手段は、モード選択手段により第２のモードが選択されている場合、表示画像の各座標に表示されている前記投影点が、表示画像の各座標に留まるように切り出し位置を変更する。また好ましくは、ウェアラブル端末１００は、ユーザが特定の被写体を注視しているか否かを判定する判定手段（注視判定部４３）を有し、制御手段は、ユーザが特定の被写体を注視していない場合、切り出し位置を撮影画像の中心に固定する。また好ましくは、制御手段は、切り出し位置に撮影画像の端に近い所定の範囲が含まれる場合、切り出し位置に含まれる所定の範囲に応じて、表示画像の一部の領域の表示色を変更する。また好ましくは、制御手段は、切り出し位置に撮影画像の端に近い所定の範囲が含まれる場合、切り出し位置に含まれる所定の範囲に応じた方向を示す補助表示（指示方向バー２２０５）を表示画像上に表示する。また好ましくは、ウェアラブル端末１００は、レンズ１０３を制御することにより光学ズームが可能なズーム変更手段（レンズシステム制御回路４）を有する。制御手段は、切り出し位置に撮影画像の端に近い所定の範囲が含まれる場合、ズーム変更手段を用いてズームアウト制御を行う。

以上、本実施例におけるウェアラブル端末１００によるセンシング情報の提供方法について説明した。本実施例によれば、並進移動に対する表示画角制御と光軸中心の回転に対する表示画角制御を組み合わせた表示敏感度制御を行うことで、ユーザ２０００の視点移動のための意図した動作に対して、違和感が少ない画像情報を提示することが可能である。表示敏感度制御のうちの、並進移動に対する表示画角制御と光軸中心の回転に対する表示画角制御に対してユーザ２０００がそれぞれ独立して制御をＯＮ／ＯＦＦできるような構成としてもよい。また本実施例では、撮像部２２で取得した画像を表示部２９にて拡大表示する構成としたが、シースルー表示よりも広角な範囲を表示可能な撮像ユニット１５０Ｌと表示ユニット１６０Ｌを有する構成として、表示敏感度制御を行っても構わない。

各実施例において、システム制御部５０の制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、注目被写体の状態に応じて適切な検出情報を提示することが可能な電子装置、電子装置の制御方法、およびプログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

各実施例は、電子機器としてウェアラブル端末について説明したが、ウェアラブル端末以外の電子機器にも適用可能である。各実施例は、例えば、デジタルカメラ等の撮像装置、携帯型のデジタル顕微鏡、画像ビューア等の表示装置、ドローンや移動ロボット等の自律移動端末に適用してもよい。また各実施例は、パーソナルコンピュータ、ＰＤＡ、携帯電話端末、ゲーム機、または電子ブックリーダー等に適用してもよい。いずれの電子機器においても、作業対象の状態に応じて、適切なセンシング情報を表示し、作業の効率化を図ることができる。また、前述の各実施例を組み合わせることも可能である。

２９ 表示部（提示手段）
３７ 傷汚れ検出部（検出手段）
３８ 温度計測部（検出手段）
３９ 寸法測定部（検出手段）
４３ 注視判定部（判定手段）
５０ システム制御回路（制御手段）
５４ 通信部（通信手段）
１００ ウェアラブル端末（電子装置）
１０２１ 寸法表示（検出情報）
１０２２ 寸法警告表示（検出情報）
１０２３ 温度表示（検出情報）
１０２４ カラーバー表示（検出情報）
１０２５ 傷表示（検出情報）
１０２６ 傷警告表示（検出情報）

Claims (42)

1. ユーザが注目している注目被写体を判定する判定手段と、
   前記注目被写体に関する複数の検出情報を検出する検出手段と、
   前記注目被写体に関連付けられた基準情報を参照する通信手段と、
   前記複数の検出情報のうち少なくとも一つの情報を提示する提示手段と、
   前記基準情報と前記複数の検出情報とに基づいて、前記複数の検出情報のうち前記提示手段により提示される少なくとも一つの前記情報を決定する制御手段と、を有することを特徴とする電子装置。
2. 前記注目被写体に関して固定された座標系における被検出位置の座標を算出する算出手段と、
   前記検出情報の取得時刻を計時する計時手段と、を更に有し、
   前記制御手段は、前記検出情報を、前記注目被写体の識別情報、前記被検出位置の座標、または前記取得時刻の少なくとも二つの情報と関連付けて記憶することを特徴とする請求項１に記載の電子装置。
3. 前記検出手段は、前記注目被写体の寸法検出手段、温度検出手段、傷検出手段、または汚れ検出手段の少なくとも一つを含むことを特徴とする請求項１または２に記載の電子装置。
4. 前記基準情報は、前記注目被写体のＣＡＤデータであることを特徴とする請求項１乃至３のいずれか一項に記載の電子装置。
5. 前記基準情報は、前記注目被写体の寸法値、温度、傷の寸法値、または汚れの寸法値の少なくとも一つを含むことを特徴とする請求項１乃至４のいずれか一項に記載の電子装置。
6. 前記基準情報は、前記検出手段により過去に検出された検出情報であることを特徴とする請求項１乃至４のいずれか一項に記載の電子装置。
7. 前記制御手段は、前記基準情報と前記複数の検出情報との差分情報に基づいて、前記複数の検出情報のうち前記提示手段により提示される少なくとも一つの前記情報を決定することを特徴とする請求項１乃至６のいずれか一項に記載の電子装置。
8. 前記電子装置は、第１の電子装置と第２の電子装置とを有し、
   第１の電子装置は、前記注目被写体に対するユーザの死角領域を算出する算出手段と、前記判定手段と、前記提示手段と、を有し、
   前記第２の電子装置は、前記検出手段を有し、
   前記第１の電子装置または前記第２の電子装置の少なくとも一つは、前記通信手段を有し、
   前記第１の電子装置は、前記第２の電子装置へ前記死角領域に関する情報を送信し、
   前記死角領域に関する情報を受信した前記第２の電子装置は、前記死角領域に対する前記検出手段による複数の検出情報を前記第１の電子装置へ送信し、
   前記検出情報を受信した前記第１の電子装置の前記制御手段は、前記基準情報と前記複数の検出情報とに基づいて、前記複数の検出情報のうち前記提示手段により提示される少なくとも一つの前記情報を決定することを特徴とする請求項１に記載の電子装置。
9. 前記第１の電子装置および前記第２の電子装置による前記複数の検出情報を記憶する記憶装置を更に有することを特徴とする請求項８に記載の電子装置。
10. 第１の電子装置と第２の電子装置とを有する電子装置であって、
    前記第１の電子装置および前記第２の電子装置はそれぞれ、撮影手段と通信手段とを有し、
    前記第１の電子装置は、
    ユーザが注目している注目被写体を判定する判定手段と、
    前記注目被写体に対するユーザの死角領域を算出する算出手段と、を有し、
    前記第１の電子装置は、前記第２の電子装置へ前記死角領域に関する情報を送信し、
    前記第２の電子装置は、前記死角領域を含む撮影画像を前記第１の電子装置へ送信することを特徴とする電子装置。
11. 前記算出手段は、
    前記注目被写体と、前記第１の電子装置および前記第２の電子装置との位置関係を算出し、
    前記注目被写体と、前記第１の電子装置との位置関係に基づいて、前記死角領域を算出することを特徴とする請求項８乃至１０のいずれか一項に記載の電子装置。
12. 前記死角領域に関する情報は、前記算出手段により算出された死角領域の位置に関する情報であることを特徴とする請求項８乃至１１のいずれか一項に記載の電子装置。
13. 前記死角領域に関する情報は、ユーザが注目している注目領域を含む前記第１の電子装置の撮影画像であることを特徴とする請求項８乃至１２のいずれか一項に記載の電子装置。
14. 前記第１の電子装置は、表示手段を有し、
    前記表示手段は、前記第２の電子装置から受信した前記死角領域を含む前記撮影画像を表示することを特徴とする請求項１０乃至１３のいずれか一項に記載の電子装置。
15. 前記第２の電子装置は、表示手段を有し、
    前記第１の電子装置または前記第２の電子装置の少なくとも一つは、前記算出手段を有し、
    前記算出手段は、前記注目被写体と、前記第１の電子装置および前記第２の電子装置との位置関係を算出し、
    前記第２の電子装置の撮影画角における死角領域の位置を算出し、
    前記表示手段は、前記撮影画角における前記死角領域を表示することを特徴とする請求項１０乃至１４のいずれか一項に記載の電子装置。
16. 前記第１の電子装置または前記第２の電子装置の少なくとも一つは、表示手段と前記算出手段とを有し、
    前記算出手段は、前記第１の電子装置と前記第２の電子装置との位置関係を算出し、
    前記表示手段は、前記第１の電子装置および前記第２の電子装置のそれぞれの撮影画角、前記死角領域、および、前記第１の電子装置と前記第２の電子装置との位置関係を表示することを特徴とする請求項１０乃至１５のいずれか一項に記載の電子装置。
17. 前記死角領域は、前記注目被写体においてユーザから見て裏側の領域であることを特徴とする請求項８乃至１６のいずれか一項に記載の電子装置。
18. 前記第１の電子装置または前記第２の電子装置の少なくとも一つは、前記第１の電子装置と前記第２の電子装置との位置関係を算出する前記算出手段を有し、
    前記第２の電子装置は、
    前記死角領域を検出可能であるか否かを前記算出手段で算出し、
    前記死角領域を検出可能であるか否かに関する結果を前記第１の電子装置へ送信することを特徴とする請求項８乃至１７のいずれか一項に記載の電子装置。
19. 前記第１の電子装置または前記第２の電子装置の少なくとも一つは、前記第１の電子装置と前記第２の電子装置との位置関係を算出する前記算出手段を有し、
    前記第２の電子装置は、
    前記死角領域を検出可能であるか否かを前記算出手段で算出し、
    前記死角領域を検出可能である場合のみ、前記第２の電子装置による撮影画像を前記第１の電子装置へ送信することを特徴とする請求項８乃至１８のいずれか一項に記載の電子装置。
20. 第１の測距手段と、
    第２の測距手段と、
    制御手段と、を有し、
    前記制御手段は、
    前記第１の測距手段による第１の測距結果に関する第１の信頼度を算出する第１の算出手段と、
    前記第２の測距手段による第２の測距結果に関する第２の信頼度を算出する第２の算出手段と、
    前記第１の信頼度と前記第２の信頼度とに基づいて、前記第１の測距結果と前記第２の測距結果との参照比率を変えて測距結果を算出する第３の算出手段と、を有し、
    前記第１の信頼度は、測距対象位置におけるレンズユニットの被写界深度が深いほど低く、
    前記第２の信頼度は、測距対象位置が前記第２の測距手段から遠いほど低いことを特徴とする電子装置。
21. 前記第１の測距手段は、位相差検出方式、Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ方式、または、Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ方式の測距手段であることを特徴とする請求項２０に記載の電子装置。
22. 前記第２の測距手段は、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式、または、三角測量方式の測距手段であることを特徴とする請求項２０または２１に記載の電子装置。
23. 前記レンズユニットのズーム手段のズーム倍率を変更するズーム変更手段と、
    前記レンズユニットの絞りの開口を変更する絞り変更手段と、を更に有し、
    前記制御手段は、前記第１の信頼度が所定の閾値よりも小さい場合、前記ズーム変更手段または前記絞り変更手段の少なくとも一方を、前記第１の信頼度が高くなるように制御することを特徴とする請求項２０乃至２２のいずれか一項に記載の電子装置。
24. ユーザが注視している注視領域を判定する判定手段を更に有し、
    前記第１の測距手段は、前記レンズユニットを前記注視領域に合焦させ、合焦対象位置の測距を行うことを特徴とする請求項２０乃至２３のいずれか一項に記載の電子装置。
25. 前記第２の測距手段は、前記第１の測距手段の第１の測距画角を含み、かつ該第１の測距画角よりも広角な第２の測距画角を有することを特徴とする請求項２０乃至２４のいずれか一項に記載の電子装置。
26. 前記制御手段は、測距対象距離が前記第２の測距手段の最短測距可能距離よりも近い場合、または、前記測距対象距離が前記第２の測距手段の最長測距可能距離よりも遠い場合、前記第２の信頼度をゼロにすることを特徴とする請求項２０乃至２５のいずれか一項に記載の電子装置。
27. 前記制御手段は、被写体が透明物体または半透明物体である場合、前記第２の信頼度をゼロにすることを特徴とする請求項２０乃至２６のいずれか一項に記載の電子装置。
28. 前記制御手段は、前記レンズユニットの被写界深度が前記第１の測距手段の最小被写界深度よりも浅い場合、または、前記レンズユニットの前記被写界深度が前記第１の測距手段の最大被写界深度よりも深い場合、前記第１の信頼度をゼロにすることを特徴とする請求項２０乃至２７のいずれか一項に記載の電子装置。
29. 撮像手段と、
    撮影画像の少なくとも一部を切り出して拡大表示する表示手段と、
    前記撮影画像の切り出し位置を変更する制御手段と、を有し、
    前記制御手段は、前記撮像手段が移動した場合に、空間上に固定された点の撮影画像への投影点が該撮像手段の移動中に撮影された連続する撮影フレームの間において移動する移動量と、該撮影フレームごとに該投影点を拡大表示した表示フレームの間において該投影点が移動する移動量とが一致するように、前記撮影画像の切り出し位置を変更することを特徴とする電子装置。
30. 前記制御手段は、前記撮像手段が光軸を中心として回転した場合に、表示画像の中心に表示されている前記投影点が該表示画像の該中心に留まるように前記切り出し位置を変更することを特徴とする請求項２９に記載の電子装置。
31. ユーザからの切り出しリセット操作を受け付けるリセット操作手段を更に有し、
    前記制御手段は、ユーザが前記リセット操作手段を操作している間、前記切り出し位置を前記撮影画像の中心に固定することを特徴とする請求項２９または３０に記載の電子装置。
32. ユーザからのモード選択を受け付けるモード選択手段を更に有し、
    前記制御手段は、前記モード選択手段により第１のモードが選択されている場合、前記切り出し位置を前記撮影画像の中心に固定することを特徴とする請求項２９乃至３１のいずれか一項に記載の電子装置。
33. ユーザからのモード選択を受け付けるモード選択手段を更に有し、
    前記制御手段は、前記モード選択手段により第２のモードが選択されている場合、表示画像の各座標に表示されている前記投影点が、該表示画像の各座標に留まるように前記切り出し位置を変更することを特徴とする請求項２９乃至３２のいずれか一項に記載の電子装置。
34. ユーザが特定の被写体を注視しているか否かを判定する判定手段を更に有し、
    前記制御手段は、前記判定手段によりユーザが前記特定の被写体を注視していないと判定された場合、前記切り出し位置を前記撮影画像の中心に固定することを特徴とする請求項２９乃至３３のいずれか一項に記載の電子装置。
35. 前記制御手段は、前記切り出し位置に前記撮影画像の端に近い所定の範囲が含まれる場合、前記切り出し位置に含まれる前記所定の範囲に応じて、表示画像の一部の領域の表示色を変更することを特徴とする請求項２９乃至３４のいずれか一項に記載の電子装置。
36. 前記制御手段は、前記切り出し位置に前記撮影画像の端に近い所定の範囲が含まれる場合、前記切り出し位置に含まれる前記所定の範囲に応じた方向を示す補助表示を表示画像上に表示することを特徴とする請求項２９乃至３５のいずれか一項に記載の電子装置。
37. レンズユニットを駆動して光学ズームが可能なズーム変更手段を更に有し、
    前記制御手段は、前記切り出し位置に前記撮影画像の端に近い所定の範囲が含まれる場合、前記ズーム変更手段を用いてズームアウト制御を行うことを特徴とする請求項２９乃至３５のいずれか一項に記載の電子装置。
38. ユーザが注目している注目被写体を判定するステップと、
    前記注目被写体に関する複数の検出情報を検出するステップと、
    前記注目被写体に関連付けられた基準情報を参照するステップと、
    前記複数の検出情報のうち少なくとも一つの情報を提示するステップと、
    前記基準情報と前記複数の検出情報とに基づいて、前記複数の検出情報のうち提示手段により提示される少なくとも一つの前記情報を決定するステップと、を有することを特徴とする電子装置の制御方法。
39. 第１の電子装置と第２の電子装置とを有する電子装置の制御方法であって、
    前記第１の電子装置により、ユーザが注目している注目被写体を判定するステップと、
    前記第１の電子装置により、前記注目被写体に対するユーザの死角領域を算出するステップと、
    前記第１の電子装置から前記第２の電子装置へ前記死角領域に関する情報を送信するステップと、
    前記第２の電子装置から前記第１の電子装置へ前記死角領域を含む撮影画像を送信するステップと、を有することを特徴とする電子装置の制御方法。
40. 第１の測距手段による第１の測距結果に関する第１の信頼度を算出するステップと、
    第２の測距手段による第２の測距結果に関する第２の信頼度を算出するステップと、
    前記第１の信頼度と前記第２の信頼度とに基づいて、前記第１の測距結果と前記第２の測距結果との参照比率を変えて測距結果を算出するステップと、を有し、
    前記第１の信頼度は、測距対象位置におけるレンズユニットの被写界深度が深いほど低く、
    前記第２の信頼度は、測距対象位置が前記第２の測距手段から遠いほど低いことを特徴とする電子装置の制御方法。
41. 撮像手段を用いて撮影画像を取得するステップと、
    前記撮影画像の少なくとも一部を切り出して拡大表示するステップと、
    前記撮影画像の切り出し位置を変更するステップと、を有し、
    前記切り出し位置を変更するステップにおいて、前記撮像手段が移動した場合に、空間上に固定された点の前記撮影画像への投影点が該撮像手段の移動中に撮影された連続する撮影フレームの間において移動する移動量と、該撮影フレームごとに該投影点を拡大表示した表示フレームの間において該投影点が移動する移動量とが一致するように、前記撮影画像の切り出し位置を変更することを特徴とする電子装置の制御方法。
42. 請求項３８乃至４１のいずれか一項に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
    

Images